[NeurIPS 2023] LLM-Pruner: On the Structural Pruning of Large Language Models. Support LLaMA, Llama-2, BLOOM, Vicuna, Baichuan, etc.
Home Page:https://arxiv.org/abs/2305.11627
Geek Repo:Geek Repo
Github PK Tool:Github PK Tool
coderchem opened this issue 6 months ago · comments
我理解,数据应该是越多越好。为什么啥只是选择10呢?
calibration set的数量是越多越好。但是如果数据越多,计算梯度所需要的成本和时间开销就更大(比如如果算的是hessian,所需时间会显著变长)。同时再增加数量对效果的提升较为不明显,因此我们选择了10。你也可以选择一个更大的样本集合。