能否提供do_sample=False的选项,在function_call和代码生成领域比较需要.

[invisifire]

在生成结果时不进行随机采样, 不对token 的logistics进行分布转换,直接选出最高概率的token

[xinfeishi]

那直接使用top_k=1,top_p=0, 也能完成这个意图。

[invisifire]

可以看一下 TOPk =1 top_p和temperature为默认值, 总会有不一样的答案无法稳定复现

[ySingularity]

可以试着打印一下logits看看？