datawhalechina / self-llm

《开源大模型食用指南》基于Linux环境快速部署开源大模型,更适合**宝宝的部署教程

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

【XVERSE-7B-chat WebDemo 部署】报错 torch.cuda.OutOfMemoryError: CUDA out of memory.

hgsw opened this issue · comments

commented

你好,我在 XVERSE-7B-chat WebDemo 部署的模块中运行chatBot.py文件连续体验十几轮问答后,就开始报存显存溢出了,我不知这是为什么,chatBot.py代码里我没有明显看到和显存相关的设置。
报错信息如下:
图片

此外我发现随着是问答轮数的增加,显存也是在逐渐增加的,chatBot.py文件刚运行时候大概子啊14.6G左右,报错时的显存占用大概在18G,截图如下:
图片

可能是超出对话长度了

commented

也就是说不是累积造成的?而是某一轮的对话,文本太长导致的吗