fishaudio / fish-speech

Brand new TTS solution

Home Page:https://speech.fish.audio

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

[BUG] v1.1.0版本训练模型时,关于精度参数的报错

unlimit999 opened this issue · comments

使用的平台是win11+python3.11/3.10+cuda12.4/12.1+pytorch2.3.0+cu121,显卡3070

如果 VITS模型和VQGAN模型,精度设置为bf16-true会报错

File "D:\py_tools\data\Fish-Speech-1.1.0\fish-speech\fish_speech\utils\spectrogram.py", line 107, in apply_mel_scale
return torch.matmul(x.transpose(-1, -2), self.fb).transpose(-1, -2)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
RuntimeError: expected scalar type BFloat16 but found Float

如果设置为32或bf16-mixed都能正常训练,
而LLAMA模型的话,设置为32、bf16-true、bf16-mixed都能正常训练不会报错

VITS 建议 fp32 训练, 不然可能会不稳定. 后续可以在 UI 限制 @AnyaCoder

VITS 建议 fp32 训练, 不然可能会不稳定. 后续可以在 UI 限制 @AnyaCoder

已移除vitsbf16-true