[QA] 模型在推理时输出长度有限，是否有相关的参数能控制输出长度
ChingKwanCheung opened this issue · comments
描述问题
InternLM推理阶段是否有类似max new tokens的参数？我尝试输入的prompt是“请输出以下代码：”+一段300行左右的代码，希望模型能把这段代码一模一样地输出出来，但模型在输出到第50行的时候就中断了。请问是什么原因呢？
没有显示任何特殊的符号，直接中断
没有显示任何特殊的符号，直接中断
是用的什么推理方式啊
没有显示任何特殊的符号，直接中断
是用的什么推理方式啊
按照这里说的方式部署和推理的https://github.com/InternLM/lmdeploy/blob/main/docs/zh_cn/serving/restful_api.md api_client.chat_completions_v1(model=model_name, messages=messages)
换成：api_client.chat_interactive_v1 也有相同的问题
已解决：api_client.chat_completions_v1加一个max_tokens参数就可以了