模型过拟合问题,如何选取参数
rphao1995 opened this issue · comments
你好。
我运行的模型在训练集在300 steps左右时acc = 90%,然而验证集Best UA只有39%,测试集UA也只有31%,请问这是参数选取的问题吗?我该如何选取参数?
我把 zscore.py 中的 filter_num=20
改成 filter_num=40
,crnn.py中判断是否启用attention机制的if self.attention is not None:
改成 if self.attention:
,然后按如下顺序运行代码
python zscore.py
python ExtractMel.py
python train.py --attention True
python utils.py --attention True
最后,这代码是文章AUTOMATIC SPEECH EMOTION RECOGNITION USING RECURRENT NEURAL NETWORKS WITH LOCAL ATTENTION的实现吗?我应该怎样复现文章的结果
这个代码不是复现那篇论文的,我的论文已经上传到github了,你可以去看看,另外有好几个地方是需要进行优化的,包括学习率调小一点,然后优化不用那么麻烦,直接用adam优化器,attention.py要简化成local attention里面的一样,差不多就能复现了
另外,你还要解决训练类别不均衡的问题
@zh794390558 你只要解决了训练类别不均衡问题,是可以复现的,每组实验跑5次,避免随机参数初始化的偶然性