通过修剪研究性能提升LLM-Pruner

[www.ziwang.com]

https://github.com/horseee/LLM-Pruner
为什么选择LLM-Pruner
与任务无关的压缩：压缩的LLM应保留其作为多任务求解器的原始能力。
更少的训练语料库：在这项工作中，我们只使用50k公开可用的样本（羊驼）来训练LLM。
高效压缩：修剪 3 分钟，训练后 3 小时。（你可以让它更长）
自动结构修剪：以最少的人力修剪新的LLM（正在进行中）。
LLM-Pruner：论大型语言模型的结构修剪[论文]
马欣银， 方公凡， 王新潮
新加坡国立大学

arxiv版本将很快发布。