fanfannothing / PaddleSeg

Easy-to-use image segmentation library with awesome pre-trained model zoo, supporting wide-range of practical tasks in Semantic Segmentation, Interactive Segmentation, Panoptic Segmentation, Image Matting, 3D Segmentation, etc.

Home Page:https://arxiv.org/abs/2101.06175

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

简体中文 | English

飞桨高性能图像分割开发套件,端到端地完成从训练到部署的全流程图像分割应用。

Build Status License Version python version support os

最新动态

  • 🔥 2022.4.26-28 每晚8:30【产业级语义分割应用实践】三日直播课 🔥

    • 26日:高精度轻量级图像分割算法的产业实践
      • 图像分割产业应用场景剖析
      • 速度精度完美均衡的SOTA算法PP-LiteSeg分享
      • 汽车金属垫片缺陷检测实战
    • 27日:高精度通用抠图算法介绍
      • 精度SOTA的通用抠图算法PP-Matting介绍
      • 产业级部署Demo应用实践(端测、服务端)
    • 28日:医疗3D图像分割工具介绍
      • 端到端3D图像分割工具MedicalSeg产品介绍
      • 速度提升40%的3D图像高效推理方案

    赶紧扫码报名上车吧!!

  • [2022-04-20] 🔥 PaddleSeg 2.5版本发布!详细发版信息请参考Release Note
    • 发布超轻量级语义分割模型PP-LiteSeg以及技术报告,实现精度和速度的最佳平衡。
    • 发布高精度trimap-free抠图模型PP-Matting以及技术报告,在Composition-1K和Distinctions-646上实现SOTA指标。
    • 发布3D医疗影像开发套件MedicalSeg,支持数据预处理、模型训练、模型部署等全流程开发,并提供肺部、椎骨数据上的高精度分割模型。
    • 升级智能标注工具EISeg v0.5版,新增X-Ray胸腔标注、MRI椎骨标注、铝板瑕疵标注。
    • 新增5个经典分割模型, 包括多个版本的PP-LiteSeg,总模型数达到45个。
  • [2022-01-20] PaddleSeg 2.4版本发布交互式分割工具EISeg v0.4,超轻量级人像分割方案PP-HumanSeg,以及大规模视频会议数据集PP-HumanSeg14K
  • [2021-10-11] PaddleSeg 2.3版本发布交互式分割工具EISeg v0.3,开源两种Matting算法,以及分割高阶功能模型蒸馏模型量化方案。

简介

PaddleSeg是基于飞桨PaddlePaddle开发的端到端图像分割开发套件,涵盖了高精度轻量级等不同方向的大量高质量分割模型。通过模块化的设计,提供了配置化驱动API调用两种应用方式,帮助开发者更便捷地完成从训练到部署的全流程图像分割应用。

  • 提供语义分割、交互式分割、全景分割、Matting四大图像分割能力。


  • 广泛应用在自动驾驶、医疗、质检、巡检、娱乐等场景。


特性

  • 高精度模型:基于半监督标签知识蒸馏方案(SSLD)训练得到高精度骨干网络,结合前沿的分割技术,提供了80+的高质量预训练模型,效果优于其他开源实现。

  • 模块化设计:支持40+主流 分割网络 ,结合模块化设计的 数据增强策略骨干网络损失函数 等不同组件,开发者可以基于实际应用场景出发,组装多样化的训练配置,满足不同性能和精度的要求。

  • 高性能:支持多进程异步I/O、多卡并行训练、评估等加速策略,结合飞桨核心框架的显存优化功能,可大幅度减少分割模型的训练开销,让开发者更低成本、更高效地完成图像分割训练。


技术交流

  • 如果你发现任何PaddleSeg存在的问题或者是建议, 欢迎通过GitHub Issues给我们提issues。
  • 欢迎加入PaddleSeg 微信群

产品矩阵

分割模型 分割组件 实践案例
  • ANN
  • BiSeNetV2
  • DANet
  • DeepLabV3
  • DeepLabV3P
  • Fast-SCNN
  • HRNet-FCN
  • GCNet
  • GSCNN
  • HarDNet
  • OCRNet
  • PSPNet
  • U-Net
  • U2-Net
  • Att U-Net
  • U-Net++
  • U-Net3+
  • DecoupledSeg
  • EMANet
  • ISANet
  • DNLNet
  • SFNet
  • PP-HumanSeg
  • PortraitNet
  • STDC
  • GINet
  • PointRend
  • SegNet
  • ESPNetV2
  • HRNet-Contrast
  • DMNet
  • ESPNetV1
  • ENCNet
  • PFPNNet
  • FastFCN
  • BiSeNetV1
  • SETR
  • MLA Transformer
  • SegFormer
  • SegMenter
  • ENet
  • CCNet
  • DDRNet
  • GloRe
  • PP-LiteSeg
  • 骨干网络
    • HRNet
    • MobileNetV2
    • MobileNetV3
    • ResNet
    • STDCNet
    • XCeption
    • VIT
    • MixVIT
    • Swin Transformer
    损失函数
    • Cross Entropy
    • Binary CE
    • Bootstrapped CE
    • Point CE
    • OHEM CE
    • Pixel Contrast CE
    • Focal
    • Dice
    • RMI
    • KL
    • L1
    • Lovasz
    • MSE
    • Edge Attention
    • Relax Boundary
    • Connectivity
    • MultiClassFocal
    评估指标
    • mIoU
    • Accuracy
    • Kappa
    • Dice
    • AUC_ROC
    支持数据集
    • Cityscapes
    • Pascal VOC
    • ADE20K
    • Pascal Context
    • COCO Stuff
    • SUPERVISELY
    • EG1800
    • CHASE_DB1
    • HRF
    • DRIVE
    • STARE
    • PP-HumanSeg14K
    数据增强
    • Flipping
    • Resize
    • ResizeByLong
    • ResizeByShort
    • LimitLong
    • ResizeRangeScaling
    • ResizeStepScaling
    • Normalize
    • Padding
    • PaddingByAspectRatio
    • RandomPaddingCrop
    • RandomCenterCrop
    • ScalePadding
    • RandomNoise
    • RandomBlur
    • RandomRotation
    • RandomScaleAspect
    • RandomDistort
    • RandomAffine
    交互式分割
    • EISeg
    • RITM
    • EdgeFlow
    图像抠图
    • PP-Matting
    • DIM
    • MODNet
    • PP-HumanMatting
    人像分割
    • PP-HumanSeg
    3D 医疗分割
    • VNet
    Cityscapes打榜模型
    • HMSA
    全景分割
    • Panoptic-DeepLab
    CVPR冠军模型
    • MLA Transformer
    领域自适应
    • PixMatch

    模型库总览

    模型结构和骨干网络的代表模型在Cityscapes数据集mIoU和FLOPs对比图。请参见Model Zoo Overview了解更多模型信息以及对比图。

    使用教程

    实践案例

    第三方教程推荐

    许可证书

    本项目的发布受Apache 2.0 license许可认证。

    社区贡献

    • 非常感谢jm12138贡献U2-Net模型。
    • 非常感谢zjhellofss(傅莘莘)贡献Attention U-Net模型,和Dice loss损失函数。
    • 非常感谢liuguoyu666贡献U-Net++模型。
    • 非常感谢yazheng0307 (刘正)贡献快速开始教程文档。
    • 非常感谢CuberrChen贡献STDC (rethink BiSeNet) PointRend,和 Detail Aggregate损失函数。
    • 非常感谢stuartchen1949贡献 SegNet。
    • 非常感谢justld(郎督)贡献 DDRNet, CCNet, ESPNetV2, DMNet, ENCNet, HRNet_W48_Contrast, BiSeNetV1, FastFCN, SECrossEntropyLoss 和PixelContrastCrossEntropyLoss。
    • 非常感谢Herman-Hu-saber(胡慧明)参与贡献 ESPNetV2。
    • 非常感谢zhangjin12138贡献数据增强方法 RandomCenterCrop。
    • 非常感谢simuler 贡献 ESPNetV1。
    • 非常感谢ETTR123(张恺) 贡献 ENet,PFPNNet。

    学术引用

    如果我们的项目在学术上帮助到你,请考虑以下引用:

    @misc{liu2021paddleseg,
          title={PaddleSeg: A High-Efficient Development Toolkit for Image Segmentation},
          author={Yi Liu and Lutao Chu and Guowei Chen and Zewu Wu and Zeyu Chen and Baohua Lai and Yuying Hao},
          year={2021},
          eprint={2101.06175},
          archivePrefix={arXiv},
          primaryClass={cs.CV}
    }
    
    @misc{paddleseg2019,
        title={PaddleSeg, End-to-end image segmentation kit based on PaddlePaddle},
        author={PaddlePaddle Authors},
        howpublished = {\url{https://github.com/PaddlePaddle/PaddleSeg}},
        year={2019}
    }
    ezoic increase your site revenue

    About

    Easy-to-use image segmentation library with awesome pre-trained model zoo, supporting wide-range of practical tasks in Semantic Segmentation, Interactive Segmentation, Panoptic Segmentation, Image Matting, 3D Segmentation, etc.

    https://arxiv.org/abs/2101.06175

    License:Apache License 2.0


    Languages

    Language:Python 91.1%Language:Java 3.5%Language:Shell 1.9%Language:C++ 1.4%Language:CMake 0.7%Language:Cython 0.4%Language:C 0.4%Language:Jupyter Notebook 0.3%Language:JavaScript 0.2%Language:HTML 0.1%Language:TypeScript 0.0%