13b的模型跑起来，需要多少显存资源
Jonsun-N opened this issue · comments
13b的模型跑起来，需要多少显存资源
30GB左右显存的显卡支持
确认一下，是多张卡加起来就行是吧，不是一张卡的显存必须大于30g吧？
确认一下，是多张卡加起来就行是吧，不是一张卡的显存必须大于30g吧？
应该是单张显卡必须要30G，显存貌似不能叠加，可以考虑量化为int8
可以切分到多张卡部署吗，本地测试了下单张24G的3090部署不了，想尝试下多卡
可以切分到多张卡部署吗，本地测试了下单张24G的3090部署不了，想尝试下多卡
参考deepspeed Zero stage 3