Giters

raoyongming / HorNet

[NeurIPS 2022] HorNet: Efficient High-Order Spatial Interactions with Recursive Gated Convolutions

Home Page:https://hornet.ivg-research.xyz/

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

训练问题，出现Nan

mary-jonesd opened this issue · comments

commented

作者你好，首先感谢你精彩的工作，我将gn conv运用到自己的模型上在imagenet上预训练发现训练到一个epoch就loss就nan了，我尝试过降低学习率到1e-4，提高drop_path rate到0.2，设置优化器adam的clip_value为0.5，到第二三个epoch之后都会出现nan，请问这个问题有什么解决方法吗