《开源大模型食用指南》基于Linux环境快速部署开源大模型,更适合**宝宝的部署教程
Geek Repo:Geek Repo
Github PK Tool:Github PK Tool
hgsw opened this issue 4 months ago · comments
你好,我在 XVERSE-7B-chat WebDemo 部署的模块中运行chatBot.py文件连续体验十几轮问答后,就开始报存显存溢出了,我不知这是为什么,chatBot.py代码里我没有明显看到和显存相关的设置。 报错信息如下:
此外我发现随着是问答轮数的增加,显存也是在逐渐增加的,chatBot.py文件刚运行时候大概子啊14.6G左右,报错时的显存占用大概在18G,截图如下:
可能是超出对话长度了
也就是说不是累积造成的?而是某一轮的对话,文本太长导致的吗