使用默认代码在单卡上进行推理的时候为什么其他显卡上也会有进程（占用）
Daniel-1997 opened this issue · comments
如上，直接用本项目中提供的推理代码，模型和数据都加载到0号显卡上，但是发现2， 3， 4上也会有占用，0号显卡上占用最多（13G+），其他显卡大概占用 4G+，请问这是什么原因呢？
@Daniel-1997 应该前面加上CUDA_VISIBLE_DEVICES=0
@Daniel-1997 应该前面加上
CUDA_VISIBLE_DEVICES=0
好的，谢谢，只要在脚本最前面加上这个就可以了
您好，请问您知道怎么做到多卡推理吗？我有8张10G显存的显卡，但是在加载模型的时候会在第一张卡上报错CUDA out of memory，为什么第一张卡会明显占用更多呢
您好，请问您知道怎么做到多卡推理吗？我有8张10G显存的显卡，但是在加载模型的时候会在第一张卡上报错CUDA out of memory，为什么第一张卡会明显占用更多呢
我参考ChatGLM-6B的文档解决了这个问题“https://github.com/THUDM/ChatGLM-6B#%E5%A4%9A%E5%8D%A1%E9%83%A8%E7%BD%B2”