splinter21 / CCF-BDCI-VideoCopyDetection

2019 CCF 大数据与计算智能大赛 视频版权检测算法 复赛第8名方案 | 8th place solution of Video Copyright Detection Algorithm Track, 2019 CCF Big Data & Computing Intelligence Contest

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

CCF-BDCI 视频拷贝检测

当前思路

  1. 提取视频关键帧;
  2. 通过resnet18提取关键帧特征;
  3. 对特征进行PCA降维(失败中)和L2正则化;
  4. 所有视频两两计算得相似度矩阵(余弦相似度);
  5. 对于相似度top-K视频对,进行帧级匹配(按相似度建图,跑最长路)。

一些经验

  1. 特征不宜过细,采用resnet50提取特征的效果比resnet18差10~20个点;
  2. 当前算法对参数比较敏感,目前取相似度前K=20视频进行帧级匹配,帧级匹配阶段,帧间相似度阈值0.85,最大跨度为10帧;
  3. 主要瓶颈在于视频级匹配,只要目标视频落入Top-K视频,基本可以得到正确的帧匹配;
  4. query与refer抽帧密度接近可能较好,也可能是抽帧不易过密。进行了query一秒五帧,refer一秒一帧与它们都一秒一帧两组测试,结果一秒一帧不仅运行速度快,而且得分大大高于另一组。

TODO

  1. 细粒度抽帧(当前1s抽一帧,感觉已经足够了);
  2. 代码重构(还差video_retrieval);
  3. 继续case analysis(不同视频,相同位置、角度与表情的大妈和男生的相似度竟然有85%,特征提取要继续研究)。

当前成绩

  • 初赛(最大误差5s)得分:F1-score = 0.60054720,排名:第10名
  • 复赛(最大误差3s)得分:F1-score = 0.47160494,排名:第8名

参考

[1] Tan H K , Ngo C W , Hong R , et al. Scalable detection of partial near-duplicate videos by visual-temporal consistency[C]// Proceedings of the 17th International Conference on Multimedia 2009, Vancouver, British Columbia, Canada, October 19-24, 2009. ACM, 2009.

[2] Jiang Y G , Jiang Y , Wang J . VCDB: A Large-Scale Database for Partial Copy Detection in Videos[M]// Computer Vision – ECCV 2014. Springer International Publishing, 2014.

[3] 顾佳伟, 赵瑞玮, 姜育刚. 视频拷贝检测方法综述[J]. 计算机研究与发展, 2017(6).

[4] 刘红. 一种基于图的近重复视频子序列匹配算法[J]. 计算机应用研究, 2013(12):343-348.

[5] FFmpeg视频抽帧那些事 - 阿水的文章 - 知乎 https://zhuanlan.zhihu.com/p/85895180

About

2019 CCF 大数据与计算智能大赛 视频版权检测算法 复赛第8名方案 | 8th place solution of Video Copyright Detection Algorithm Track, 2019 CCF Big Data & Computing Intelligence Contest


Languages

Language:Jupyter Notebook 100.0%