关于视频超分的加快想法
alingnono opened this issue · comments
在传统动画中,动画有一拍二,一拍三,如果可以事先知道动画是一拍几,那么可不可以在遇到重复帧时可以跳过超分
找到有同样想法的人了,我也是之前有同样的想法,然后自己利用视频的redundant信息去做一个拆分和跟前一帧进行比较,然后我最近把我做的给开源了 https://github.com/Kiteretsu77/FAST_Anime_VSR
我是把一张图片拆分成了3大块(垂直方向),我也试过水平方向拆分,但是区别不大,还试过9宫格拆分,但是拆分的越多会出现的CPU内存拷贝和GPU 的IO消耗会很大。而且为了避免合成以后有边缘的明显的artifacts,需要去浪费多几行的pixel做input。最后来说,3分法是我发现在速度和视觉质量损伤上的一个平衡点,但是我也还是相信,未来能够有更加好的办法去解决!