TianWen580 / mmdet-exp2

OpenMMLab Detection Toolbox and Benchmark

1 BALLOON in VIDEO 气球掩码特效

注：本作品是OpenMMLab2023实战营的实验二基础作品

INTRODUCTION 介绍

• 使用简单：只需任意摄像头获取视频，就可以得到气球掩码，并生成掩码处理后的特效视频

• 检测&分割对象：

  • balloon

• 模型文件（"segm_mAP": 0.875, "bbox_mAP": 0.8734）：https://github.com/TianWen580/mmdet-exp2/releases/download/homework/latest.pth

环境配置

python 3.8
pytorch 1.10.1
cuda 11.1
mmcv-full 1.7.0
mmdet 2.28.1

按照MMDetection官方文档的要求配置环境

SOLUTION 算法方案

• Baseline：Mask-RCNN

• 小样本处理：因样本较小训练集和验证集共用一套数据，以确保训练效率

• 数据增广：

  • Resize ：多尺度增强，范围1333至800
  • RandomCrop：随机裁剪图像，预留范围最小为全图75%

• 测试时增强：

  • RandomFlip：水平翻转

• 学习率策略：

  • 余弦退火

    

模型训练与测试

• 数据集组织

  • 下载数据集并解压

  • 可以利用脚本 mytools/balloon2coco.py 自动划分数据集为CocoDataset格式（classes：('balloon', )）

  |--data
     |--train
     |  |--image1.jpg
     |  |--image2.jpg
     |  |--...
     |  |--train_ann.json 
  

• 加载预训练模型

  下载模型并存放在 pth/ 中

• 启动训练

  python tools/train.py \
      myconfig/mask_rcnn_r50_fpn_1x_coco.py \
      --work-dir work_dirs/balloon

  启动后训练log、配置文件以及所得模型将保存在 mmdetection/work_dirs/balloon/ 中

• 处理视频

  • 将待处理的视频命名为 myballoon.mp4 并保存在 mytools/ ，执行脚本文件

    video.sh
    

  • 或直接借助脚本 mytools/color_splash.py 处理

    python mytools/color_splash.py
    

  • 处理完成得到特效视频，默认保存在项目根目录上，以下是示例特效片段的gif

    

2 PASCAL VOC 经典数据集

注：本作品是OpenMMLab2023实战营的实验二进阶作品

INTRODUCTION 介绍

• 检测对象：
  • aeroplane
  • bicycle
  • bird
  • boat
  • bottle
  • bus
  • car
  • cat
  • chair
  • cow
  • diningtable
  • dog
  • horse
  • motorbike
  • person
  • pottedplant
  • sheep
  • sofa
  • train
  • tvmonitor
• 模型文件（"mAP": 0.75254）：https://github.com/TianWen580/mmdet-exp2/releases/download/homework-advanced/latest.pth

环境配置

python 3.8
pytorch 1.10.1
cuda 11.1
mmcv-full 1.7.0
mmdet 2.28.1

按照MMDetection官方文档的要求配置环境

SOLUTION 算法方案

• Baseline：Faster-RCNN（c4）

• 数据增广：

  • Resize ：多尺度增强，范围如图

    

  • RandomFlip：水平翻转，概率50%

• 测试时增强：

  • Resize：随机缩放，参数默认
  • RandomFlip：水平翻转，参数默认

• 学习率策略：

  • 线性热身&STEP（曲线平滑系数=0.6）

    

模型训练与测试

• 数据集组织

  • 下载VOC2007和VOC2012并解压：

    PASCAL VOC2012：https://opendatalab.org.cn/PASCAL_VOC2012 PASCAL VOC2007：http://host.robots.ox.ac.uk/pascal/VOC/voc2007/index.html

  • 合并数据集到VOCdevkit

  |--VOCdevkit
     |--VOC2007
     |  |--Annotations
     |  |--ImageSets
     |  |--JPEGImages
     |  |--SegmentationClass
     |  |--SegmentationObject
     |--VOC2012
     |  |--Annotations
     |  |--ImageSets
     |  |--JPEGImages
     |  |--SegmentationClass
     |  |--SegmentationObject
  
  

• 启动训练

  python tools/train.py \
      myconfig/faster_rcnn_r50_caffe_c4_mstrain_18k_voc0712.py \
      --work-dir work_dirs/voc

  启动后训练log、配置文件以及所得模型将保存在 work_dirs/voc/ 中