从transformers推理切换到vllm推理效果变差

[HIT-Owen]

**模型：**01ai/Yi-1.5-9B-Chat
**代码：**均为官方提供的代码
**生成参数：**transformers和vllm生成参数均设置为temperature=0.3, top_p=0.7
**问题：**鸡柳是鸡身上哪个部位？

transformers生成结果：

vllm生成结果：

其中vllm试了很多种生成参数，生成了多次，但是没有一次是对的结果。。。

[LIUKAI0815]

个人感觉和vllm的chat_template有关，参考QwenLM/Qwen#728 vllm-project/vllm#2051 这两个网页

[LIUKAI0815]

https://zhuanlan.zhihu.com/p/658780653

[LIUKAI0815]

vllm-project/vllm#2947