yumingj / Talk-to-Edit

Code for Talk-to-Edit (ICCV2021). Paper: Talk-to-Edit: Fine-Grained Facial Editing via Dialog.

Home Page:https://www.mmlab-ntu.com/project/talkedit/

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

editing_wo_dialog

zhangshen12356 opened this issue · comments

请问一下,我对一幅1024的图片(整幅图片基本只有人脸,没有其他的背景)进行编辑的话,为什么之后smiling这个属性能进行编辑,而对其他属性进行编辑会报错“ Sorry, we are unable to edit this attribute. Perhaps we can try something else”,请问一下这个是检测器的问题还是哪部分的问题?另外,如果我将这幅图片resize为128的话,倒是基本每个属性都能进行编辑。

另外还有一个问题就是,为什么训练的时候,其中进行编辑生成的图片都不是正常图片

关于第一个问题,在1024版本上,real image editing会出现个别属性编辑不动的情况,也就是出现“Sorry, we are unable to edit this attribute. Perhaps we can try something else”的提示。这个原因可能是:1)real image经过inversion之后,得到的code和原始的stylegan的latent space不是很吻合,因此对于我们的field function来说,算是一个out of distribution的输入,所以无法对这张图片进行一些编辑。2)有些属性本身在latent space上分布就不是太好,所以会编辑不动。在128版本上确实可编辑性会强一些。 我们的paper主要是focus在synthesized image上做编辑,对real image editing我们只是展示了可能性。想要提高在real image上的robustness,可以尝试用一些其他inversion的方式,使得得到的latent code同时具有保真性和可编辑性。或者在训练的field的时候 就把真实图片考虑在内。

训练的时候编辑生成的图片不是正常的图片,可能是网络训崩了。你需要先检查一下输入是否正确,即编辑前的图片是否正常。正常来说,编辑前的图片应该是能够显示出来的。