Why ResNet101 performance worse than ResNet50 and
Henry-Avery opened this issue · comments
ResNet101 test ac is about 30%
ResNet18 test ac is about 60%
Even MLP can achieve about 90%
我还没有深入研究这个代码，可关注原作者的论文中的解释
个人理解的是autofi是跨环境分类，网络参数越多，能够学习的训练数据的类别特征就越详细，但是这不利于新数据的识别，当网络参数减少时，迫使网络学习训练数据中重要的特征，降低过拟合的概率，所以参数少效果可能会更好，但是参数过少也容易导致欠拟合，需要权衡。
AutoFi原论文里面的结构特别简单，但是我觉得结果有点玄学 从 Windows 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>发送 发件人: @.> 发送时间: 2023年3月7日 11:08 收件人: @.> 抄送: @.>; @.> 主题: Re: [xyanchen/WiFi-CSI-Sensing-Benchmark] Why ResNet101 performance worse than ResNet50 and (Issue #5) 我还没有深入研究这个代码，可关注原作者的论文中的解释 ― Reply to this email directly, view it on GitHub<#5 (comment)>, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AQMS7SVX3P423TDOGKTSDKDW22RBFANCNFSM6AAAAAAVQX6RUU. You are receiving this because you authored the thread.Message ID: @.***>
同学你好！AutoFi这里不是为了做一个复杂的网络结构，因为我们发现其实对于WiFi里简单的分类任务，很复杂的网络反而会非常overfitting或者很难拟合。我们可以让ResNet-101也达到不错的效果，但是需要非常babysit它的training procedure。对于AutoFi的无监督学习，是为了证明用无监督的方法，学到的feature encoder是有意义的，而且对于下游task具有比较好的generalization ability。
个人理解的是autofi是跨环境分类，网络参数越多，能够学习的训练数据的类别特征就越详细，但是这不利于新数据的识别，当网络参数减少时，迫使网络学习训练数据中重要的特征，降低过拟合的概率，所以参数少效果可能会更好，但是参数过少也容易导致欠拟合，需要权衡。
你的理解非常到位！因为WiFi领域没有一个类似于COCO或者ImageNet的超大数据集进行pre-train，所以其实在某一个小数据集上的测试是没有意义的。我们发现其实只要设计合理，MLP也可以达到很好的分数，因为数据分布高度一致。所以很多工作中提出各种各样的网络结构并且在小数据集上测试有一些accuracy增长，其实意义不大。跨环境下使用domain adaptation或者fine-tune是可以的，AutoFi这篇文章探求新的思路，使用unsupervised的方法训练一个encoder，来看是否可以用于downstream tasks。
个人理解的是autofi是跨环境分类，网络参数越多，能够学习的训练数据的类别特征就越详细，但是这不利于新数据的识别，当网络参数减少时，迫使网络学习训练数据中重要的特征，降低过拟合的概率，所以参数少效果可能会更好，但是参数过少也容易导致欠拟合，需要权衡。
你的理解非常到位！因为WiFi领域没有一个类似于COCO或者ImageNet的超大数据集进行pre-train，所以其实在某一个小数据集上的测试是没有意义的。我们发现其实只要设计合理，MLP也可以达到很好的分数，因为数据分布高度一致。所以很多工作中提出各种各样的网络结构并且在小数据集上测试有一些accuracy增长，其实意义不大。跨环境下使用domain adaptation或者fine-tune是可以的，AutoFi这篇文章探求新的思路，使用unsupervised的方法训练一个encoder，来看是否可以用于downstream tasks。
十分感谢作者的回复和肯定！！通过交流学到了很多，我也一直在关注您的研究，祝越来越好！
不管是有监督还是无监督，目前基于最简单的网络结构在三个数据集上也能得到一些不错的结果，那研究的思路还有哪些呢？主要面临的问题还有什么呢？
所以还是先从CSI数据本身出发，纯从learning领域出发的实用性有限