[KLUE-YNAT] (TC)에서 dev 셋이 누락되었습니다
singleheart opened this issue · comments
Description
안녕하세요, https://klue-benchmark.com/tasks/66/data/description 표를 보면 YNAT에는 train, dev, test 셋이 있는데요,
https://klue-benchmark.com/tasks/66/data/download에서 https://aistages-prod-server-public.s3.amazonaws.com/app/Competitions/000066/data/ynat-v1.1.tar.gz 파일을 받아서 압축을 풀어 보면 ynat-v1.1_dev.json
이라는 파일이 있는데, 개수를 세어 보면 위 표의 test셋과 개수가 같습니다. 표를 수정해야 할 것 같습니다.
#38 (comment) 코멘트를 보면 오버피팅을 방지하기 위해 테스트셋을 공개하지 않는다고 하셨네요. 이 정책은 이해했습니다. 그렇다면 현재 공개된 데이터셋이 dev셋이고 test셋이 비공개이니, https://klue-benchmark.com/tasks/66/data/description 표에서 dev와 test 열의 데이터 분량을 맞바꾸어 주어야 하겠습니다