帮大忙了

[sssggghhh007]

另外问一下，有没有类似gpt和chatglm的stream_chat的方法

[不要葱姜蒜]

目前没有做，如果需要的话，建议看看lmdeploy或是vllm

• LMDeploy：https://github.com/InternLM/lmdeploy
• vLLM：https://github.com/vllm-project/vllm

[sssggghhh007]

目前没有做，如果需要的话，建议看看lmdeploy或是vllm

• LMDeploy：https://github.com/InternLM/lmdeploy
• vLLM：https://github.com/vllm-project/vllm

好的，主要是现在1.5好像还没支持chat_stream，得借助这些框架，一口气吐一串是有点影响观感，另外有考虑做成像glm3那样的composite_demo形式吗

[不要葱姜蒜]

暂时没有这方面的打算