关于特征图选择的问题
littletomatodonkey opened this issue · comments
hi，最近看到了这篇论文，效果真的很棒，有1个小问题想咨询下：针对不同的T-S模型组合，是怎么选取Feature map来做蒸馏的呢？在论文里没有看到对应的部分。此外就是ConvNeXt与ResNet系列的激活函数相差很大（gelu vs relu），这种情况下，蒸馏的特征图选择有什么技巧呢？
感谢作者的工作！期待代码开源~
littletomatodonkey opened this issue · comments
hi，最近看到了这篇论文，效果真的很棒，有1个小问题想咨询下：针对不同的T-S模型组合，是怎么选取Feature map来做蒸馏的呢？在论文里没有看到对应的部分。此外就是ConvNeXt与ResNet系列的激活函数相差很大（gelu vs relu），这种情况下，蒸馏的特征图选择有什么技巧呢？
感谢作者的工作！期待代码开源~