open-compass / opencompass

OpenCompass is an LLM evaluation platform, supporting a wide range of models (Llama3, Mistral, InternLM2,GPT-4,LLaMa2, Qwen,GLM, Claude, etc) over 100+ datasets.

Home Page:https://opencompass.org.cn/

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

[Bug] 运行成功后在summary文件夹中的结果都是为空的

HuntZhaozq opened this issue · comments

先决条件

问题类型

我正在使用官方支持的任务/模型/数据集进行评估。

环境

python run.py configs/eval_gpt3.5.py -w outputs/demo

重现问题 - 代码/配置示例

python run.py configs/eval_gpt3.5.py -w outputs/demo

重现问题 - 命令或脚本

python run.py configs/eval_gpt3.5.py -w outputs/demo

重现问题 - 错误信息

没有收到错误信息,运行ceval数据集测评openai接口的模型,所有infer都成功了,在results也能看到accuracy,但是summary里的结果为空。

如何调整summary的结果展示,比如c-eval的所有目录准确度合并在一起,同时并增加定制数据集的结果?

其他信息

No response

我遇到了相同的问题请问您是否已将问题解决

可以把summary的调用注释掉就能解决

您好您可以具体说一下是哪个summary吗,能否发一个代码片段