category以及总体average得分的计算逻辑
XinyuGuan01 opened this issue · comments
从榜单上看，CMMLU的得分存在三个层次：总体average的分（平均分），每个category的得分（比如人文学科），还有具体subject的得分（比如food_science.csv）。我想请问总体average的得分，和每个category的得分是怎么计算的呢？是不是按照下面的计算逻辑进行的？
计算逻辑：
先按样本维度计算了每个subject的acc，然后（1）category的得分=属于该category的所有subject的acc的平均值；（2）总体average的得分=所有subject的acc的平均值
对的，我们是macro average，也就是你提到的的计算方法。
对的，我们是macro average，也就是你提到的的计算方法。
好的，感谢