SparseGPT:大规模语言模型可以一次性准确修剪
ziwang-com opened this issue · comments
https://github.com/IST-DASLab/sparsegpt
CML 2023 论文“SparseGPT:大规模语言模型可以一次性准确修剪”的代码。
具体来说,它提供了脚本和实现,以便:
评估原始维基文本2,PTB和C4子集上的基线和修剪模型。(, ,datautils.pyopt.pybloom.py)
在 OPT 和 BLOOM 模型上执行非结构化、n:m 和稀疏 + 量化的 SparseGPT 压缩。(, ,sparsegpt.pyopt.pybloom.py)
我们注意到这个 SparseGPT 实现是基于我们的开源 GPTQ 代码。