运行 GLM-10B 的最低配置是多少?
nguyenvanhoangphuc opened this issue · comments
toilaphucnguyen commented
我正在使用一台16GB内存的CPU和一台4GB内存的GPU,但由于内存溢出而无法运行GLM-10B。 请问我需要什么确切的配置来运行它,而不会遇到内存溢出错误?
fluxlinkage commented
glm-10b-chinese模型:
直接GPU推理需要大约20GB显存。
使用如下方法可以8位量化,显存需要十几GB(具体多少忘了,11GB到15GB之间吧)。
直接CPU推理需要大约50-60GB内存。