qiuyu96 / CoDeF

[CVPR 2024 Highlight] Official PyTorch implementation of CoDeF: Content Deformation Fields for Temporally Consistent Video Processing

Home Page:https://qiuyu96.github.io/CoDeF/

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

这个项目依赖于ControlNet么?

wpl427 opened this issue · comments

commented

/content/CoDeF/ckpts/all_sequences/scene_0/base_control
这个路径下面的图片是怎么来的?

我是先跑 test_multi.sh, 然后里面会有个 canonical_0.png 然后把这个图 , 拿到扩散模型里面, 用ControlNet 生成一张你喜欢的风格的, 然后放到这个里面, 跑test_canonical.sh

我是先跑 test_multi.sh, 然后里面会有个 canonical_0.png 然后把这个图 , 拿到扩散模型里面, 用ControlNet 生成一张你喜欢的风格的, 然后放到这个里面, 跑test_canonical.sh

是这样的吗?我经常跑出来canonical都很模糊,这怎么放到control net

你找个背景简单点的先试试看, 复杂的我也模糊,再看怎么解决

风格转换可以用controlNet,也可以用其他的,但是比较推荐controlNet,因为对的比较齐而且texture质量比较高。现在对一些复杂场景和长视频,我们也在做更多的improvement,请期待之后的更新。