Commercially available(com), academic use only(aca), unknown(unk)
Redistribution is possible with or without modification, if neither, or unknown (red, red/mod-x, not, unk)
Internationally available publication(INT)
1. Classical NLP pipeline
분석적 관점에서 원시 코퍼스로부터 형태소,(의존)구문, 의미역, 개체명, 무형대용어복원 등의 태깅을 하는 과제가 주를 이룬다.
No
Dataset
Typical Usage
Provider
Docu
License
Volume
Goal
Lang
Description
1
KAIST Morpho-syntactically Annotated Corpus
Morphological analysis
Academia
article
aca/
70M(w)
-
ko
원시코퍼스부터 다양한 코퍼스가 있다. 하나 하나의 데이터마다 Affiliation을 채워야 하지만 데이터 만드는 품을 생각하면 이 정도는 오픈 데이터로 보는 것이 좋을 듯하다.
2
Korean Tree-tagged Corpus
Tree parsing
Academia
INT
aca/red
30K(s)
-
ko
-
3
UD Korean KAIST
Dependency parsing
Academia
INT
com/red
30K (s)
-
ko
-
4
PKT-UD
Dependency parsing
Academia
INT
com/red
5K (s)
-
ko
5
KMOU NER
NER
Academia
article
aca/red
24K (s)
-
ko
한국어 개체명 정의 및 표지 표준화 기술보고서와 이를 기반으로 제작된 개체명 형태소 말뭉치
6
AIR x NAVER NER
NER
Competition
DOC
aca/not
90K (s)
-
ko
인명, 기관명, 지명 등 특정한 의미가 있다고 생각하는 명사들의 최대 범주를 태깅하는 과제에 필요한 데이터 세트
7
AIR x NAVER SLR
SLR
Competition
DOC
aca/not
35K(s)
-
ko
의미역 결정(Semantic Role Labeling)을 위한 데이터
|
2. Entailment and sentence similarity
실제 담화에서 어떤 문장(발화)들이 같은 의미로 기능하는지를 실제적으로 판단하는 과제가 주를 이룬다. 단지 유사 단어나 문장뿐만 아니라 내포하는 의미가 같은 경우 등으로 세분화해서 데이터가 구축된다.
No
Dataset
Typical Usage
Provider
Docu
License
Volume
Goal
Lang
Description
1
Question Pair
Paraphrase detection
Academia
DOC
com/red
10K (p)
-
ko
유사 문장쌍
2
KorNLI
NLI
Industry
INT
com/red
1,000K (p)
-
ko
자연어 이해를 위한 데이터 세트
3
KorSTS
STS
Industry
INT
com/red
8,500 (p)
-
ko
자연어 이해를 위한 데이터 세트
4
ParaKQC
STS
Academia
INT
com/red
540K (p)
-
ko
Parallel dataset of Korean Questions and Commands
3. Semantics and question answering
자연어처리에서 '의미론'은 많은 부분에서 분류의 문제로 처리된다. 그러나 질문에 대해, 답변을 하거나, 시나 소설에서 다음에 나올 문장을 생성해 준다거나 요약문을 제공해 주는 경우도 있다. 하지만 과제 중심으로 본다면 이런 경우도 정답이 있는 것은 아닐 것이다. 좁은 범주의 고정 도메인에서 QA 문제를 풀 때는 정해진 답변을 분류 문제로 풀어서 답하게 되는 경우도 있다. 가령, 수영장 이용 안내를 챗봇으로 하는 경우 라커키 이용 방법처럼 자주 나오는 질문에 대한 답은 정해져 있는 편이 경제적일 것다.
No
Dataset
Typical Usage
Provider
Docu
License
Volume
Goal
Lang
Description
1
NSMC
Sentiment analysis
Academia
DOC
com/red
150K / 50K (s)
-
ko
댓글을 통한 감성 분석 데이터 세트
2
BEEP!
Hate speech detection
Academia
INT
com/red
8K / 500 / 1,000 (s)
-
ko
혐오 표현 관련 데이터
3
3i4K
Speech act classification
Academia
INT
com/red
55K / 6K (s)
-
ko
Intonation-aided intention identification for Korean
4
KorQuAD1
QA
Industry
INT
com/red (mod-x)
60K / 5K / 4K (p)
-
ko
질의 응답 데이트 세트KorQuAD 설명 동영상
5
KorQuAD2
QA
Industry
article
com/red (mod-x)
80K / 10K / 10K (p)
-
ko
-
병렬 코퍼스는 언어 간 연구 또는 번역 자동화를 위한 데이터 세트이다. 개인적으로는 짧은 문장에 대한 대량의 번역 데이터 세트가 있었으면 좋겠다는 바람이 있다. 지금은 신문 등의 병렬 데이터 세트가 많아서 처음 자연어처리에 입문하는 사람이 연습용으로 쓰기에는 어려움이 있다.
5 Korean in multilingual corpora
No
Dataset
Typical Usage
Provider
Docu
License
Volume
Goal
Lang
Description
1
Sigmorphon G2P
G2P conversion
Competition
DOC
unk/unk
3,600 / 450 / 450 (p)
-
ko, en, hy, bg, fr, ka, hi, hu, is, lt, el
Multilingual Grapheme-to-Phoneme Conversion
2
PAWS-X
Paraphrase detection
Industry
INT
com/red
5K / 2K / 2K (p)
-
ko, fr, es, de, zh, ja
-
3
TyDi-QA
QA
Industry
INT DOC
com/red
11K / 1,698 / 1,722 (p)
-
ko, en, ar, bn, fi, ja, id, sw, ru, te, th
-
4
XPersona
Dialog
Academia
INT Doc
com/red
299 (d)
-
ko, en, it, fr, id, zh, ja / 4,684 (s)
-
6. Speech recognition and spoken language understanding
No
Dataset
Typical Usage
Provider
Docu
License
Volume
Goal
Lang
Description
1
KSS
ASR
Academia
DOC
aca/red
12+ (h)/ 13K (u) / 1 speaker
-
ko
STT
3
ClovaCall
ASR
Industry
INT
aca/not
80+ (h)/ 60K (u)/ 11K speakers
-
ko
-
4
Pansori-TedXKR
ASR
Aca
INT
aca/red (mod-x)
3+ (h)/ 3K (u)/ 41 speakers
-
ko
-
5
ProSem
SLU
Aca
INT
com/red
6+ (h) / 3,500 (s) /7K (u)/2 speakers
-
ko
-
번호
데이터 종류
데이터 설명
1
우리말샘
이 사전에 대한 설명 : 다양한 어휘와 유의어 정보 등을 얻을 수 있는 대사전 : 로그인 후 전체 사전 데이터 다운로드 가능
2
NIA 사전
묻지도 따지지도 않고 다음 링크에서 엑셀로 다운로드 가능
3
AIHub
텍스트와 음성 멀티모달까지 가장 광범위한 데이터, 로그인 및 사용 목적과 기간을 명시한 사용 신청서 작성 후 허가 메일이 오면(하루 정도 걸린다) 다운로드 가능
4
국립국어원 언어정보나눔터
로그인 후 세종2007 말뭉치나 낭독체 음성 파일 등도 다운로드 가능, 다운 받을 때 간단한 서약에 체크만 하면 되는데 자료의 크기를 작게 나누어 놓아서 여러번 체크해야 한다는 것이 단점
5
국립국어원 모두의 말뭉치
다양한 분석 말뭉치(형태소 분석과 구문 분석 말뭉치 등), 다양한 도메인의 말뭉치(문어, 신문, 구어, 웹), 자연어 추론을 위한 말뭉치(유사 문장) 등 다양한 데이터들이 체계적으로 구축되어 있다. 로그인, 메일 인증을 거쳐 데이터를 신청할 수 있고 다운로드 받기 위해서는 연구과제명과 수행기관, 약정 기간 등이 필수 입력 요소이다.