ziwang-com / AGM

AGM阿格姆:AI基因图谱模型,从token-weight权重微粒角度,探索AI模型,GPT\LLM大模型的内在运作机制。

Home Page:http://www.m-f.vip

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

加权模型集成技巧

ziwang-com opened this issue · comments

https://github.com/CheaSim/WeightedVoting

加权模型集成技巧

目标
本项目的目标是,全自动融合模型。以前模型融合的权重是由自己设定或者基于dev上的分数,但是既然我们有了Pytorch这样的框架,为什么不可以利用模型在验证集上的输出分布和验证集的ground truth来输出每个模型的权重呢? 冲!

输入是logits,输出是概率分布

流程
首先,使用训练集对模型进行三角化。然后,使用经过训练的模型对开发数据集进行评估,以获取开发日志。现在,我们有大约 N 个模型和 N 个开发逻辑。通常,我们会平均开发日志以集成模型。在这个项目中,你可以得到最终的对数,而不是平均对数。我们可以在集合模型中训练权重。

logit = \sum_n^i w_i logit_i
首先使用几个模型针对验证集输出验证集上的概率分布,之后

用户使用的时候,只需要import WeightedVoting,之后进行fit输入和输出,就可以得到每个模型的权重。

过程中将train_set 分成两部分作为train和val。

输入的train是一个[num_samples, num_models, num_choices + 1]

怎么用啊,大佬,有示例吗?