请问榜单内模型的生成方式有详细的说明吗

[paperpplane]

在论文中似乎没提到这些榜单内的模型的生成方式是怎么的，几个开源模型是用greedy方式还是do sample方式呢，具体设置参数是怎样的，几个通过API调用的模型用了怎么样的生成参数呢

[leixy20]

您好，感谢您对 AlignBench 工作的关注！关于评测参数的设置，由于我们观察到对于部分模型，采用 greedy 方式生成回答会导致回答质量的下降，特别是生成长度较长的问题。因此，我们对于生成长度较长的类别（综合问答、文本写作、角色扮演），采用 temperature=0.7 参数进行采样生成回答；对于生成长度较短的类别（基本任务、中文理解、逻辑推理、数学计算、专业能力），采用 temperature=0.1 参数进行采样生成回答。另外，在评价模型打分的阶段，使用 temperature=0 参数进行打分。

[paperpplane]

但采样方式的话还有很多别的参数吧，除了temperature，比如topp topk这些，这些又是怎么设置的呢

[leixy20]

我们没有指定除了 temperature 其他参数的取值，均使用默认值。我们为了增强结果的稳定性而约束了 temperature 的取值，但是我们希望每个模型都处于自己最合适的参数配置情况，来评测实际部署和使用该模型的真实表现，所以没有统一其他参数。

[paperpplane]

好的，多谢回复

[Siberiamark]

模型打分阶段两个同样的csv 最后出来的分数有微小区别正常吗？ 我看上面说打分的时候CritiqueLLM 是做greedy code？