domyounglee / KLUE-transformers

Fine tuning pretrained model with KLUE benchmark dataset using Transformers library

Fine-Tuning KLUE baseline models with Transformers Notebooks

- Exploring the KLUE dataset and Fine Tuning bert-based pretrained model -

KLUE란?

KLUE란 한국어 자연어 이해 평가 데이터셋(Korean Language Understanding Evaluation Benchmark)의 약자로, 한국어 언어모델의 공정한 평가를 위한 목적으로 8개 종류(뉴스 헤드라인 분류, 문장 유사도 비교, 자연어 추론, 개체명 인식, 관계 추출, 형태소 및 의존 구문 분석, 기계 독해 이해, 대화 상태 추적)의 한국어 자연어 이해 문제가 포함된 공개 데이터셋. 추가적으로 한국어 언어 모델의 공정한 성능 비교를 위해 평가 시스템 및 사전학습 Baseline 모델 공개.

Dependency

transformers==4.27
sentence-transformers==2.2.0
evaluate==0.4.0
datasets==2.10

Task Overview

DST task model overview

Colab URL

Task	Colab
KLUE-TC
KLUE-STS
KLUE-NLI
KLUE-NER
KLUE-RE
KLUE-DP
KLUE-MRC
KLUE-DST

Reference

https://arxiv.org/pdf/2105.09680.pdf

https://github.com/KLUE-benchmark/KLUE-baseline

https://github.com/KLUE-benchmark/KLUE

https://github.com/Huffon/klue-transformers-tutorial