关于Audio2Face的pipeline疑问
Owen1234560 opened this issue · comments
由于本人还没有跑通整个pipeline，暂时有些疑问。
（1）整个pipeline，就是那张图片展示的（ASR、TTS、FACEGOOD Audio2face），其实是一个语音对话交互系统是吗？
（2）最后产生的blendshape系数，其实是对话模块TTS产生的语音预测出来的系数，和一开始的麦克风录入的声音无关是吧？
（3）如果我想用自己的语音驱动，是不是要使用自己的语音数据，重新训练模型？
由于本人还没有跑通整个pipeline，暂时有些疑问。 （1）整个pipeline，就是那张图片展示的（ASR、TTS、FACEGOOD Audio2Face），其实是一个语音对话交互系统是吗？ （2）最后产生的blendshape系数，其实是对话模块TTS产生的语音预测出来的系数，和一开始的麦克风录入的声音无关是吧？ （3）如果我想用自己的语音驱动，是不是要使用自己的语音数据，重新训练模型？
1，2，3是的
把语音asr ，tts 放到ue端体验更好，python只做 权重输出
请问渲染是什么完成的，就是得到blendshape mesh这些后，怎么输出视频画面？
blender