nlp-waseda / JMMLU

日本語マルチタスク言語理解ベンチマーク Japanese Massive Multitask Language Understanding Benchmark

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

医学用語の修正について

hiroyaiizuka opened this issue · comments

初めまして、医師の飯塚浩也と申します。
この度は、MMLUを日本語翻訳化してくださり、誠にありがとうございます。

問題を眺めていたところ、気になった点がございましたので、ご報告させてください。

https://github.com/nlp-waseda/JMMLU/blob/main/JMMLU/clinical_knowledge.csv

こちらの65問、低ボラ性ショックですが、こちらは医学用語として正しくありません。

元のMMLU repositoryを確認しましたが、typoのようでした。
CleanShot 2024-02-18 at 05 48 37

hypovolaemic shockですが、正しくは hypovolemic shockです。
循環血液量減少性ショック、が正しい日本語翻訳となります。

ご検討のほど、よろしくお願いいたします。

(医学用語ではないのですが、high_school_mathematics.csvの7問目、雨と晴れ両方の確立は何%か 確率が確立となっておりますので、こちらもお手隙の時に修正をご検討ください。)

貴重なご意見をいただき、誠にありがとうございます。修正をさせていただきます。