KLUE-benchmark / KLUE

📖 Korean NLU Benchmark

Home Page:https://klue-benchmark.com

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

[KLUE-NLI] (Write Title) train에서는 genre, dev에서는 source라는 키를 쓰는데 맞춰줘야 할 것 같습니다

singleheart opened this issue · comments

Description

train 예시 (klue-nli-v1.1_train.json)

    {
        "guid": "klue-nli-v1_train_00000",
        "genre": "NSMC",
        "premise": "힛걸 진심 최고다 그 어떤 히어로보다 멋지다",
        "hypothesis": "힛걸 진심 최고로 멋지다.",
        "gold_label": "entailment",
        "author": "entailment",
        "label2": "entailment",
        "label3": "entailment",
        "label4": "entailment",
        "label5": "entailment"
    },

dev 예시 (klue-nli-v1.1_dev.json, klue-nli-v1.1_dev_sample_10.json 동일)

    {
        "guid": "klue-nli-v1_dev_00000",
        "source": "airbnb",
        "premise": "흡연자분들은 발코니가 있는 방이면 발코니에서 흡연이 가능합니다.",
        "hypothesis": "어떤 방에서도 흡연은 금지됩니다.",
        "gold_label": "contradiction",
        "author": "contradiction",
        "label2": "contradiction",
        "label3": "contradiction",
        "label4": "contradiction",
        "label5": "contradiction"
    },

나머지 키는 동일하지만, train에서는 genre, dev에서는 source라는 키를 쓰고 있습니다. 동일한 키를 써야 데이터 처리를 일관되게 할 수 있을 것 같습니다.