Aganlengzi / PaddleDetection

Object Detection toolkit based on PaddlePaddle. It supports object detection, instance segmentation, multiple object tracking and real-time multi-person keypoint detection.

简体中文 | English

飞桨目标检测开发套件，端到端地完成从训练到部署的全流程目标检测应用。

🚀 热门活动

• 🎊 【AI快车道两日课】手把手教你将PP-YOLOE+用于旋转框、小目标检测，达成SOTA性能

  • ⏰ 时间：11月16-17日 晚上8:15
  • 11月16日：更高效更鲁棒的小目标检测器PP-YOLOE-SOD
  • 11月17日：SOTA旋转框检测器PP-YOLOE-R
  • 🎁 扫码入群即可获取专属直播链接与技术大礼包！
  

贡献代码

PaddleDetection非常欢迎你加入到飞桨社区的开源建设中，参与贡献方式可以参考文档

同时我们也会组织专项活动，引导大家参与到PaddleDetection的开发中：

• Yes, PP-YOLOE! 基于PP-YOLOE的算法开发

产品动态

• 🔥 2022.11.15：发布基于PP-YOLOE+扩展的旋转框、小目标检测SOTA模型

  • 旋转框检测模型PP-YOLOE-R
    • Anchor-free旋转框检测SOTA模型，精度速度双高
    • 云边一体，s/m/l/x四个模型适配不用算力硬件
    • 部署友好，避免使用特殊算子，能够轻松使用TensorRT加速
  • 小目标检测模型PP-YOLOE-SOD
    • 基于切图的端到端检测方案
    • 基于原图的检测模型，精度达VisDrone开源最优

• 2022.8.26：PaddleDetection发布release/2.5版本

  • 🗳 特色模型：
    • 发布PP-YOLOE+，最高精度提升2.4% mAP，达到54.9% mAP，模型训练收敛速度提升3.75倍，端到端预测速度最高提升2.3倍；多个下游任务泛化性提升
    • 发布PicoDet-NPU模型，支持模型全量化部署；新增PicoDet版面分析模型
    • 发布PP-TinyPose升级版增强版，在健身、舞蹈等场景精度提升9.1% AP，支持侧身、卧躺、跳跃、高抬腿等非常规动作
  • 🔮 场景能力：
    • 发布行人分析工具PP-Human v2，新增打架、打电话、抽烟、闯入四大行为识别，底层算法性能升级，覆盖行人检测、跟踪、属性三类核心算法能力，提供保姆级全流程开发及模型优化策略，支持在线视频流输入
    • 首次发布PP-Vehicle，提供车牌识别、车辆属性分析（颜色、车型）、车流量统计以及违章检测四大功能，兼容图片、在线视频流、视频输入，提供完善的二次开发文档教程
  • 💡 前沿算法：
    • 全面覆盖的YOLO家族经典与最新算法模型的代码库PaddleYOLO: 包括YOLOv3，百度飞桨自研的实时高精度目标检测模型PP-YOLOE，以及前沿检测算法YOLOv4、YOLOv5、YOLOX，YOLOv6及YOLOv7
    • 新增基于ViT骨干网络高精度检测模型，COCO数据集精度达到55.7% mAP；新增OC-SORT多目标跟踪模型；新增ConvNeXt骨干网络
  • 📋 产业范例：新增智能健身、打架识别、来客分析、车辆结构化范例

• 更多版本发布

简介

PaddleDetection为基于飞桨PaddlePaddle的端到端目标检测套件，内置30+模型算法及300+预训练模型，覆盖目标检测、实例分割、跟踪、关键点检测等方向，其中包括服务器端和移动端高精度、轻量级产业级SOTA模型、冠军方案和学术前沿算法，并提供配置化的网络模块组件、十余种数据增强策略和损失函数等高阶优化支持和多种部署方案，在打通数据处理、模型开发、训练、压缩、部署全流程的基础上，提供丰富的案例及教程，加速算法产业落地应用。

特性

• 模型丰富: 包含目标检测、实例分割、人脸检测、关键点检测、多目标跟踪等300+个预训练模型，涵盖多种全球竞赛冠军方案。
• 使用简洁：模块化设计，解耦各个网络组件，开发者轻松搭建、试用各种检测模型及优化策略，快速得到高性能、定制化的算法。
• 端到端打通: 从数据增强、组网、训练、压缩、部署端到端打通，并完备支持云端/边缘端多架构、多设备部署。
• 高性能: 基于飞桨的高性能内核，模型训练速度及显存占用优势明显。支持FP16训练, 支持多机训练。

技术交流

• 如果你发现任何PaddleDetection存在的问题或者是建议, 欢迎通过GitHub Issues给我们提issues。

• 欢迎加入PaddleDetection 微信用户群（扫码填写问卷即可入群）

  • 入群福利 💎：获取PaddleDetection团队整理的重磅学习大礼包🎁
    • 📊 福利一：获取飞桨联合业界企业整理的开源数据集
    • 👨‍🏫 福利二：获取PaddleDetection历次发版直播视频与最新直播咨询
    • 🗳 福利三：获取垂类场景预训练模型集合，包括工业、安防、交通等5+行业场景
    • 🗂 福利四：获取10+全流程产业实操范例，覆盖火灾烟雾检测、人流量计数等产业高频场景
  

套件结构概览

Architectures	Backbones	Components	Data Augmentation
Object Detection Faster RCNN FPN Cascade-RCNN PSS-Det RetinaNet YOLOv3 YOLOv5 YOLOv6 YOLOv7 PP-YOLOv1/v2 PP-YOLO-Tiny PP-YOLOE PP-YOLOE+ PP-YOLOE-R PP-YOLOE-SOD YOLOX YOLOF SSD CenterNet FCOS FCOS-R TTFNet TOOD GFL PP-PicoDet DETR Deformable DETR Swin Transformer Sparse RCNN Instance Segmentation Mask RCNN Cascade Mask RCNN SOLOv2 Face Detection BlazeFace Multi-Object-Tracking JDE FairMOT DeepSORT ByteTrack OC-SORT KeyPoint-Detection HRNet HigherHRNet Lite-HRNet PP-TinyPose	Details ResNet(&vd) Res2Net(&vd) CSPResNet SENet Res2Net HRNet Lite-HRNet DarkNet CSPDarkNet MobileNetv1/v3 ShuffleNet GhostNet BlazeNet DLA HardNet LCNet ESNet Swin-Transformer ConvNeXt Vision Transformer	Common Sync-BN Group Norm DCNv2 EMA KeyPoint DarkPose FPN BiFPN CSP-PAN Custom-PAN ES-PAN HRFPN Loss Smooth-L1 GIoU/DIoU/CIoU IoUAware Focal Loss CT Focal Loss VariFocal Loss Post-processing SoftNMS MatrixNMS Speed FP16 training Multi-machine training	Details Resize Lighting Flipping Expand Crop Color Distort Random Erasing Mixup AugmentHSV Mosaic Cutmix Grid Mask Auto Augment Random Perspective

模型性能概览

云端模型性能对比

各模型结构和骨干网络的代表模型在COCO数据集上精度mAP和单卡Tesla V100上预测速度(FPS)对比图。

说明：

• ViT为ViT-Cascade-Faster-RCNN模型，COCO数据集mAP高达55.7%
• Cascade-Faster-RCNN为Cascade-Faster-RCNN-ResNet50vd-DCN，PaddleDetection将其优化到COCO数据mAP为47.8%时推理速度为20FPS
• PP-YOLOE是对PP-YOLO v2模型的进一步优化，L版本在COCO数据集mAP为51.6%，Tesla V100预测速度78.1FPS
• PP-YOLOE+是对PPOLOE模型的进一步优化，L版本在COCO数据集mAP为53.3%，Tesla V100预测速度78.1FPS
• YOLOX和YOLOv5均为基于PaddleDetection复现算法，YOLOv5代码在PaddleYOLO中，参照PaddleYOLO_MODEL
• 图中模型均可在模型库中获取

移动端模型性能对比

各移动端模型在COCO数据集上精度mAP和高通骁龙865处理器上预测速度(FPS)对比图。

说明：

• 测试数据均使用高通骁龙865(4*A77 + 4*A55)处理器batch size为1, 开启4线程测试，测试使用NCNN预测库，测试脚本见MobileDetBenchmark
• PP-PicoDet及PP-YOLO-Tiny为PaddleDetection自研模型，其余模型PaddleDetection暂未提供

模型库

1. 通用检测

PP-YOLOE+系列 推荐场景：Nvidia V100, T4等云端GPU和Jetson系列等边缘端设备

模型名称	COCO精度（mAP）	V100 TensorRT FP16速度(FPS)	配置文件	模型下载
PP-YOLOE+_s	43.9	333.3	链接	下载地址
PP-YOLOE+_m	50.0	208.3	链接	下载地址
PP-YOLOE+_l	53.3	149.2	链接	下载地址
PP-YOLOE+_x	54.9	95.2	链接	下载地址

PP-PicoDet系列 推荐场景：ARM CPU(RK3399, 树莓派等) 和NPU(比特大陆，晶晨等)移动端芯片和x86 CPU设备

模型名称	COCO精度（mAP）	骁龙865 四线程速度(ms)	配置文件	模型下载
PicoDet-XS	23.5	7.81	链接	下载地址
PicoDet-S	29.1	9.56	链接	下载地址
PicoDet-M	34.4	17.68	链接	下载地址
PicoDet-L	36.1	25.21	链接	下载地址

前沿检测算法

模型名称	COCO精度（mAP）	V100 TensorRT FP16速度(FPS)	配置文件	模型下载
YOLOX-l	50.1	107.5	链接	下载地址
YOLOv5-l	48.6	136.0	链接	下载地址
YOLOv7-l	51.0	135.0	链接	下载地址

注意:

• YOLOv5和YOLOv7代码在PaddleYOLO中，为基于PaddleDetection复现的算法，可参照PaddleYOLO_MODEL。

其他通用检测模型 文档链接

2. 实例分割

模型名称	模型简介	推荐场景	COCO精度(mAP)	配置文件	模型下载
Mask RCNN	两阶段实例分割算法	云边端	box AP: 41.4 mask AP: 37.5	链接	下载地址
Cascade Mask RCNN	两阶段实例分割算法	云边端	box AP: 45.7 mask AP: 39.7	链接	下载地址
SOLOv2	轻量级单阶段实例分割算法	云边端	mask AP: 38.0	链接	下载地址

3. 关键点检测

模型名称	模型简介	推荐场景	COCO精度（AP）	速度	配置文件	模型下载
HRNet-w32 + DarkPose	top-down 关键点检测算法 输入尺寸384x288	云边端	78.3	T4 TensorRT FP16 2.96ms	链接	下载地址
HRNet-w32 + DarkPose	top-down 关键点检测算法 输入尺寸256x192	云边端	78.0	T4 TensorRT FP16 1.75ms	链接	下载地址
PP-TinyPose	轻量级关键点算法 输入尺寸256x192	移动端	68.8	骁龙865 四线程 6.30ms	链接	下载地址
PP-TinyPose	轻量级关键点算法 输入尺寸128x96	移动端	58.1	骁龙865 四线程 2.37ms	链接	下载地址

其他关键点检测模型 文档链接

4. 多目标跟踪PP-Tracking

模型名称	模型简介	推荐场景	精度	配置文件	模型下载
ByteTrack	SDE多目标跟踪算法 仅包含检测模型	云边端	MOT-17 test: 78.4	链接	下载地址
FairMOT	JDE多目标跟踪算法 多任务联合学习方法	云边端	MOT-16 test: 75.0	链接	下载地址
OC-SORT	SDE多目标跟踪算法 仅包含检测模型	云边端	MOT-17 half val: 75.5	链接	下载地址

其他多目标跟踪模型 文档链接

5. 产业级实时行人分析工具PP-Human

任务	端到端速度（ms）	模型方案	模型体积
行人检测（高精度）	25.1ms	目标检测	182M
行人检测（轻量级）	16.2ms	目标检测	27M
行人跟踪（高精度）	31.8ms	多目标跟踪	182M
行人跟踪（轻量级）	21.0ms	多目标跟踪	27M
属性识别（高精度）	单人8.5ms	目标检测 属性识别	目标检测：182M 属性识别：86M
属性识别（轻量级）	单人7.1ms	目标检测 属性识别	目标检测：182M 属性识别：86M
摔倒识别	单人10ms	多目标跟踪 关键点检测 基于关键点行为识别	多目标跟踪：182M 关键点检测：101M 基于关键点行为识别：21.8M
闯入识别	31.8ms	多目标跟踪	182M
打架识别	19.7ms	视频分类	90M
抽烟识别	单人15.1ms	目标检测 基于人体id的目标检测	目标检测：182M 基于人体id的目标检测：27M
打电话识别	单人ms	目标检测 基于人体id的图像分类	目标检测：182M 基于人体id的图像分类：45M

点击模型方案中的模型即可下载指定模型

详细信息参考文档

6. 产业级实时车辆分析工具PP-Vehicle

任务	端到端速度（ms）	模型方案	模型体积
车辆检测（高精度）	25.7ms	目标检测	182M
车辆检测（轻量级）	13.2ms	目标检测	27M
车辆跟踪（高精度）	40ms	多目标跟踪	182M
车辆跟踪（轻量级）	25ms	多目标跟踪	27M
车牌识别	4.68ms	车牌检测 车牌识别	车牌检测：3.9M 车牌字符识别： 12M
车辆属性	7.31ms	属性识别	7.2M

点击模型方案中的模型即可下载指定模型

详细信息参考文档

文档教程

入门教程

• 安装说明
• 快速体验
• 数据准备
• PaddleDetection全流程使用
• FAQ/常见问题汇总

进阶教程

• 参数配置

  • RCNN参数说明
  • PP-YOLO参数说明

• 模型压缩(基于PaddleSlim)

  • 剪裁/量化/蒸馏教程

• 推理部署

  • 模型导出教程
  • Paddle Inference部署
    • Python端推理部署
    • C++端推理部署
  • Paddle-Lite部署
  • Paddle Serving部署
  • ONNX模型导出
  • 推理benchmark

• 进阶开发

  • 数据处理模块
  • 新增检测模型
  • 二次开发教程
    • 目标检测
    • 关键点检测
    • 多目标跟踪
    • 行为识别
    • 属性识别

课程专栏

• 【理论基础】目标检测7日打卡营： 目标检测任务综述、RCNN系列目标检测算法详解、YOLO系列目标检测算法详解、PP-YOLO优化策略与案例分享、AnchorFree系列算法介绍和实践

• 【产业实践】AI快车道产业级目标检测技术与应用： 目标检测超强目标检测算法矩阵、实时行人分析系统PP-Human、目标检测产业应用全流程拆解与实践

• 【行业特色】2022.3.26 智慧城市行业七日课： 城市规划、城市治理、智慧政务、交通管理、社区治理

• 【学术交流】2022.9.27 YOLO Vision世界学术交流大会： PaddleDetection受邀参与首个以YOLO为主题的YOLO Vision世界大会，与全球AI领先开发者学习交流

产业实践范例教程

• 基于PP-YOLOE-R的旋转框检测

• 基于PP-YOLOE-SOD的无人机航拍图像检测

• 基于PP-Human v2的摔倒检测

• 基于PP-TinyPose增强版的智能健身动作识别

• 基于PP-PicoDet增强版的路面垃圾检测

• 基于FairMOT实现人流量统计

• 基于PP-Human的来客分析案例教程

• 更多其他范例

应用案例

• 安卓健身APP
• 多目标跟踪系统GUI可视化界面

第三方教程推荐

• PaddleDetection在Windows下的部署(一)
• PaddleDetection在Windows下的部署(二)
• Jetson Nano上部署PaddleDetection经验分享
• 安全帽检测YOLOv3模型在树莓派上的部署
• 使用SSD-MobileNetv1完成一个项目--准备数据集到完成树莓派部署

版本更新

版本更新内容请参考版本更新文档

许可证书

本项目的发布受Apache 2.0 license许可认证。

引用

@misc{ppdet2019,
title={PaddleDetection, Object detection and instance segmentation toolkit based on PaddlePaddle.},
author={PaddlePaddle Authors},
howpublished = {\url{https://github.com/PaddlePaddle/PaddleDetection}},
year={2019}
}