2021 全球人工智能技术创新大赛【赛道一】周周星分享
大家好，我是 healingwounds 队长，很意外能获得第二周的周周星，以下是我比赛以来的一些收获，望各位大佬不吝赐教！
-
关于模型 我目前用的还是一些基础模型，以下是我尝试过的模型
- lgb 过拟合严重，线上线下差距大，放弃了
- RNN 用双向两层 GRU 效果较好，比 LSTM 效果好些
- RNN-Atten 同样是 GRU 效果好一些，尝试不同的姿势的 Attenion，非标准形式比标准形式效果好
- textCNN 过拟合严重，线上线下差距大，也放弃了
- RCNN 效果不错
-
关于训练
- 训练参数对模型效果影响较大
- 优化器 我使用 adam
- batch_size 建议80-100
- k_fold 大一点效果提升明显，但是过程较慢
- random_seed，随缘了，建议多次结果平均，结果更稳定
- 训练参数对模型效果影响较大
-
模型融合
- 模型融合自身的融合
- 不同模型的融合，这块也比较玄学，权重分配值得摸索
其它的先进模型本菜鸡还没研究过，还需要继续跟进。。。