yerfor / Real3DPortrait

Real3D-Portrait: One-shot Realistic 3D Talking Portrait Synthesis; ICLR 2024 Spotlight; Official code

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

推理的一些疑问

laishujie opened this issue · comments

commented

你好,我使用了最新的代码以及模型“240210_real3dportrait_orig”来生成视频。在进行推理后,我遇到了几个问题:

1.头发与身体分离:在生成的视频中,头发与身体出现了分离的情况。特别是对于长发,是否存在解决方案或调整参数的方法来改善这一问题?

2.牙齿模糊不清:视频中牙齿的清晰度较低,影响了整体质量。我想了解是否需要重新训练模型或采取其他措施来提高牙齿部位的清晰度?

3.视频质量与图片清晰度差距:生成的视频质量与原始图片的清晰度相比有明显差距。您能否提供一些建议或方法,帮助我减小这种质量差异?

附上一张问题示例的截图以便更好地展示我的问题:

image

Q1: 这是NeRF的性质决定的。现阶段NeRF的解决方案没有办法处理长头发。
Q2&3: 可能是因为训练数据中清晰的牙齿数据太少导致的。可以通过gpen等超分模型提升画质。