Tlntin / Qwen-TensorRT-LLM

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

部署api和尝试网页对话出现的bug

Astrallee opened this issue · comments

在配置api时,文章提供的四中调用方式,依次进行尝试,async_client 、normal_client.py、openai_normal_client.py皆可正常运行。

openai_stream_client.py首先成功进入指令行,但是在进行交互时会爆出如下错误。
python openai_stream_client.py 窗口错误如下
image

在python api.py 窗口错误如下
image

同样的在运行python web_demo.py命令时,webui界面正常开启,但是在交互时爆出上述类似的错误
在python web_demo.py窗口下
image
在python api.py窗口下
image
似乎两个问题都是由同样的问题引起的,缺少model_dump_json

检查你下面这个pydantic包,需要大于2.3.2:

$pip list | grep pydantic
pydantic                      2.4.2
pydantic_core                 2.10.1

同类型bug,issue

检查你下面这个pydantic包,需要大于2.3.2:

$pip list | grep pydantic
pydantic                      2.4.2
pydantic_core                 2.10.1

很感谢!!更新至2.4.2 已解决!