horseee / LLM-Pruner

[NeurIPS 2023] LLM-Pruner: On the Structural Pruning of Large Language Models. Support LLaMA, Llama-2, BLOOM, Vicuna, Baichuan, etc.

Home Page:https://arxiv.org/abs/2305.11627

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

为什么num_examples默认是10?

coderchem opened this issue · comments

我理解,数据应该是越多越好。为什么啥只是选择10呢?

calibration set的数量是越多越好。但是如果数据越多,计算梯度所需要的成本和时间开销就更大(比如如果算的是hessian,所需时间会显著变长)。同时再增加数量对效果的提升较为不明显,因此我们选择了10。你也可以选择一个更大的样本集合。