when using function snoop, loss values are always nan
RidiculousDoge opened this issue · comments
Reymond Gu commented
like below:
Step 0 | loss_ce nan | loss_reg nan | loss nan
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1225/1225 [01:14<00:00, 16.54it/s]
Step 1 | loss_ce nan | loss_reg nan | loss nan
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1225/1225 [01:13<00:00, 16.60it/s]
Step 2 | loss_ce nan | loss_reg nan | loss nan
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1225/1225 [01:13<00:00, 16.59it/s]
Step 3 | loss_ce nan | loss_reg nan | loss nan
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1225/1225 [01:13<00:00, 16.58it/s]