神经网络权重的自监督表示学习

[www.ziwang.com]

https://github.com/HSG-AIML/NeurIPS_2021-Weight_Space_Learning

这是 NeurIPS 2021 论文“用于模型特征预测的神经网络权重的自监督表示学习”（https://arxiv.org/abs/arXiv:2110.15288）的存储库。下图显示了该方法的示意图。在此存储库中，我们提供了用于复制消融研究和下游任务的代码。

Alt text

图：拟议的自我监督表示学习方法的概述。I.训练有素的神经网络种群形成示范动物园;每个模型都以其权重的矢量化形式进行转换。II. 神经表征是使用不同的增强、架构和自我监督学习任务从模型动物园学习的。III. 在预测模型特征的下游任务上评估神经表征。