Aganlengzi / PaddleVideo

Awesome video understanding toolkits based on PaddlePaddle. It supports video data annotation tools, lightweight RGB and skeleton based action recognition model, practical applications for video tagging and sport action detection.

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

English | 中文

PaddleVideo

近期更新

  • 发布轻量化行为识别模型🌟PP-TSMv2🌟, Kinetics-400精度74.38%,25fps的10s视频cpu推理时间仅需433ms.
  • 新增知识蒸馏功能.
  • 发布各模型benchmark文档.
  • 更新快速开始文档.
  • 新增基于transformer的行为识别模型TokenShift.
  • 新增基于骨骼点的行为识别模型2s-ACGNCTR-GCN.

👀 🌟 《产业级视频技术与应用案例》系列课程回放链接: https://aistudio.baidu.com/aistudio/course/introduce/6742 🌟

​ 💖 欢迎大家扫码入群讨论 💖

  • 添加成功后回复【视频】加入交流群

简介

python version paddle version

PaddleVideo是飞桨官方出品的视频模型开发套件,旨在帮助开发者更好的进行视频领域的学术研究和产业实践。


模型案例库

模型

行为识别方法
PP-TSM (PP series) PP-TSN (PP series) PP-TimeSformer (PP series) TSN (2D’) TSM (2D‘)
SlowFast (3D’) TimeSformer (Transformer‘) VideoSwin (Transformer’) AttentionLSTM (RNN‘) MoViNet (Lite‘)
基于骨骼点的动作识别方法
ST-GCN (GCN’) AGCN (GCN‘) CTR-GCN (GCN‘)
时序动作检测方法
BMN (One-stage‘)
视频时序分割
MS-TCN ASRF
时空动作检测方法
SlowFast+Fast R-CNN
多模态
ActBERT (Learning‘) T2VLAD (Retrieval‘)
视频目标分割
CFBI (Semi‘) MA-Net (Supervised‘)
单目深度估计
ADDS (Unsupervised‘)

数据集

动作识别
Kinetics-400 (Homepage) (CVPR'2017) UCF101 (Homepage) (CRCV-IR-12-01) ActivityNet (Homepage) (CVPR'2015) YouTube-8M (Homepage) (CVPR'2017)
动作定位
ActivityNet (Homepage) (CVPR'2015)
时空动作检测
AVA (Homepage) (CVPR'2018)
基于骨架的动作识别
NTURGB+D (Homepage) (IEEE CS'2016) FSD (Homepage)
单目深度估计
Oxford-RobotCar (Homepage) (IJRR'2017)
文本视频检索
MSR-VTT (Homepage) (CVPR'2016)
文本视频预训练
HowTo100M (Homepage) (ICCV'2019)

应用案例

Applications Descriptions
FootballAction 足球动作检测方案
BasketballAction 篮球动作检测方案
TableTennis 乒乓球动作识别方案
FigureSkating 花样滑冰动作识别方案
VideoTag 3000类大规模视频分类方案
MultimodalVideoTag 多模态视频分类方案
VideoQualityAssessment 视频质量评估方案
PP-Care 3DMRI医疗图像识别方案
EIVideo 视频交互式分割工具
Anti-UAV 无人机检测方案
AbnormalActionDetection 异常行为检测方案
PP-Human 行人分析场景动作识别方案

文档教程

赛事支持

许可证书

本项目的发布受Apache 2.0 license许可认证。

致谢

About

Awesome video understanding toolkits based on PaddlePaddle. It supports video data annotation tools, lightweight RGB and skeleton based action recognition model, practical applications for video tagging and sport action detection.

License:Apache License 2.0


Languages

Language:Python 95.1%Language:Shell 3.5%Language:C++ 1.2%Language:CMake 0.3%