Giters

thunlp / InfLLM

The code of our paper "InfLLM: Unveiling the Intrinsic Capacity of LLMs for Understanding Extremely Long Sequences with Training-Free Memory"

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

准确率问题

cat-sun opened this issue · comments

commented

请问调用bash infinitebench.sh，在longbook_choice_eng数据集上测了50条数据，准确率只有40%左右，这个结果是不是有问题，是中间过程出了什么问题吗

commented

您好，longbook_choice_eng数据上，InfLLM的表现为43.23，因此您的测试应该是准确的