Giters

thu-coai / SafetyBench

Official github repo for SafetyBench, a comprehensive benchmark to evaluate LLMs' safety.

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

zero shot结果对不齐的原因

Alexyuanfun opened this issue · comments

commented

想问一下为什么baichuan13B-chat few-shot的结果能对齐，但是zero shot结果对不齐

commented

有少量误差应该是正常的

commented

但是zero shot的差距有7～8分，这个误差也是正常的吗？

commented

但是zero shot的差距有7～8分，这个误差也是正常的吗？

这个应该不太正常，是按给的代码跑的吗？