[LLM] SQuAD / KorQuAD

학회에서 주어진 지문에 대한 객관식 질문을 생성하는 Question Generation NLP 프로젝트를 진행 중이다.

QG 프로젝트에 사용할 수 있는 대표적인 데이터셋을 소개하고자 한다.

 

1. SQuAD 

https://rajpurkar.github.io/SQuAD-explorer/

The Stanford Question Answering Dataset

- 영어 머신러닝 Reading Comprehension 데이터셋 

- 버전: v1.1, v2.0

Stanford Question Answering Dataset (SQuAD)의 약자다. 우리는 QG 프로젝트에 사용했지만, 원래는 QA를 위한 데이터셋이다.

버전 v1.1의 경우에는 500+개의 아티클로 만들어진 100,000+개의 QA 쌍이 존재한다.

사이트에 들어가서 확인해보면, 예시 지문과 ground truth 데이터, 그리고 예측한 답 일부를 확인해볼 수 있다.

아무래도 대회 형식이다 보니까 다른 사용자들이 얼마나 답변을 잘 찾았는지 (높은 점수를 얻었는지) 스코어보드를 확인할 수 있다.

v1.1에는 답변할 수 있는 질문 데이터만 포함되어있다고 한다면, v2.0에는 일부러 답을 찾을 수 없는 문제까지 포함이 되어있다. 이럴 경우에 모델은 답을 찾을 수 없는 문제임을 인식할 수 있어야 한다고 한다.

QG 프로젝트에서는 지문과 질문만 사용하면 되니까 크게 상관은 없다.

 

2. KorQuAD

https://korquad.github.io/

KorQuAD

- 한국어 머신러닝 Reading Comprehension 데이터셋

- 버전: v1.0, v2.0

SQuAD와 동일한 방식으로 만들어진 데이터셋이다. 대신 한국어로 되어있다는 차이가 있습니다. 위키피디아의 데이터를 활용하여 제작되었다고 한다. SQuAD v2.0은 v1.0과 다르게 1~2문단이 아닌 위키피디아 전체에서 답을 찾는다는 차이가 있다.

 

SQuAD와 KorQuAD는 동일한 어노테이션 구조를 가진 데이터셋이므로, 프로젝트를 진행할 때 원하는 언어가 영어인지 한국어인지에 따라서 적절하게 선택하여 프로젝트를 수행하면 된다.