换自己的训练的模型出错，用了wav2vec训练，结果还是出错
stevin-dong opened this issue · comments
训练时，换了wav2vec还是报以上同样的错误，我训练出来的模型是38.4M，我看作者大佬是的ngp_kf.pth文件大小是38M，哪里有问题呢，错误信息：
RuntimeError: Error(s) in loading state_dict for NeRFNetwork:
size mismatch for individual_codes: copying a param with shape torch.Size([12000, 4]) from checkpoint, the shape in current model is torch.Size([10000, 4]).
size mismatch for individual_codes_torso: copying a param with shape torch.Size([12000, 8]) from checkpoint, the shape in current model is torch.Size([10000, 8]).
那可能是你用的float32训练的模型，把app.py里的opt.fp16 = True这行注释掉看看
那可能是你用的float32训练的模型，把app.py里的opt.fp16 = True这行注释掉看看
好的，感谢大佬，我试试
那可能是你用的float32训练的模型，把app.py里的opt.fp16 = True这行注释掉看看
试过了，还是不行，我直接用原项目中的main.py可以跑，命令如下：
python main.py /root/autodl-tmp/10002/data --workspace /root/autodl-tmp/10002/trial_10002_torso -O --torso --test --test_train --aud /root/autodl-tmp/16k_eo.npy --smooth_path --asr_model esperanto
用app.py跑就是以下错误：
python main.py data/mine-new/ --workspace workspace/trial_mine/ -O --iters 100000 --asr_model cpierse/wav2vec2-large-xlsr-53-esperanto
python main.py data/mine-new/ --workspace trial_mine/ -O --iters 125000 --finetune_lips --patch_size 32 --asr_model cpierse/wav2vec2-large-xlsr-53-esperanto
python main.py data/mine-new/ --workspace trial_mine_torso/ -O --torso --head_ckpt trial_mine/checkpoints/ngp_ep0034.pth --iters 200000 --asr_model cpierse/wav2vec2-large-xlsr-53-esperanto
我是用这个训练的，你看看训练参数有什么不一样
python main.py data/mine-new/ --workspace workspace/trial_mine/ -O --iters 100000 --asr_model cpierse/wav2vec2-large-xlsr-53-esperanto python main.py data/mine-new/ --workspace trial_mine/ -O --iters 125000 --finetune_lips --patch_size 32 --asr_model cpierse/wav2vec2-large-xlsr-53-esperanto python main.py data/mine-new/ --workspace trial_mine_torso/ -O --torso --head_ckpt trial_mine/checkpoints/ngp_ep0034.pth --iters 200000 --asr_model cpierse/wav2vec2-large-xlsr-53-esperanto
我是用这个训练的，你看看训练参数有什么不一样
看了，应该没有问题啊，搞不明白了。。为什么出来模型大小都不一样，我训练出来38.4M，您那个38M，我训练带的是--asr_model esperanto这样的简写，也应该是一样的
解决了，谢谢大佬！
解决了，谢谢大佬！
大佬，你是怎么解决换模型的?
解决了，谢谢大佬！
同求问是怎么解决的，也碰到这个问题。
解决了，谢谢大佬！
怎么解决的，可以分享下吗