xeon-ye / Meeting-Matting

视频会议换背景⚡背景调色

Meeting-Matting

视频会议抠背景，基本功能类似于腾讯会议、Google Meeting

最近因为工作需要，Google Meeting用的比较多，用的时候我就发现几个问题了。1. 人像抠图效果一般；2. 虚拟背景违和感强。每次开摄像头面对面谈东西的时候，总是看着对方的虚拟背景看着看着就出戏了，实在是太假了。

因此萌发了做一个视频会议换背景的想法。目前人像抠图用的是MODNet，调色用的是SSH。

PS：项目中的网络推理均使用ncnn引擎实现

功能

1. 人像视频换背景：使用MODNet的人像抠图实现，直接用的飞哥传书转换好的模型。目前问题就是慢，在我的电脑上只能跑到2fps，我以前也做过抠图模型，能跑到20fps左右，但是效果比较差，就不用了。
2. 人像&背景调色：使用SSH实现，SSH是个对合成图像进行调色的工作，具体可以看文章。目前问题就一点，调出来的颜色像僵尸┑(￣Д ￣)┍。

开发记录

• 人像抠图
• 色调调整

效果

1. 单纯替换背景，无调色
2. 有调色 火眼金睛的仔细看一下的话，是能看出来调色后人没有那么黄了，变的青了一点点。至于哪一个跟背景更契合，那就各花入各眼了。

改进点

1. 换更好的抠图模型（有卡再说）
2. 换更好的调色模型（有卡再说）
3. 增加锁头效果(类似苹果的那种,通过裁切画面保证人在中间)（有1080P摄像头再说）
4. 氪金

参考

1. https://github.com/Tencent/ncnn
2. https://github.com/FeiGeChuanShu/ncnn_Android_matting
3. https://github.com/VITA-Group/SSHarmonization