关于视频超分的加快想法
alingnono opened this issue · comments
在传统动画中，动画有一拍二，一拍三，如果可以事先知道动画是一拍几，那么可不可以在遇到重复帧时可以跳过超分
找到有同样想法的人了，我也是之前有同样的想法，然后自己利用视频的redundant信息去做一个拆分和跟前一帧进行比较，然后我最近把我做的给开源了 https://github.com/Kiteretsu77/FAST_Anime_VSR
我是把一张图片拆分成了3大块（垂直方向），我也试过水平方向拆分，但是区别不大，还试过9宫格拆分，但是拆分的越多会出现的CPU内存拷贝和GPU 的IO消耗会很大。而且为了避免合成以后有边缘的明显的artifacts，需要去浪费多几行的pixel做input。最后来说，3分法是我发现在速度和视觉质量损伤上的一个平衡点，但是我也还是相信，未来能够有更加好的办法去解决！