Roadmap of PaddleDetection
thinkthinking opened this issue · comments
We will pin this issue to collect new features or anything you want to say to the PaddleDetection team. We will actively incorporate them into future version updates, and we also welcome everyone to participate in the open source development of PaddleDetection.
In this issue, you can leave a comment to:
- Suggest new features for PaddleDetection;
- Point out areas where PaddleDetection needs improvement or where it is not yet perfect (if you have technical issues during use, please ask questions by creating a new issue. Here, mainly suggestions and complaints are welcome);
- Support other people's comments with 👍, or against with 👎;
If you encounter technical issues during the business implementation process or have collaboration needs, please send an email to yezhenjie@baidu.com for communication.
我们将置顶这个issue以便于收集您对PaddleDetection新特性需求或者任何想对PaddleDetection团队说的话，我们会积极融入到后续的版本更新中，同时也欢迎大家参与到PaddleDetection的开源建设中。
您可以通过评论的方式：
- 提出对PaddleDetection新特性的需求；
- 提出PaddleDetection做的还不完善、需要改进的点（如果是在使用过程中遇到的技术问题，还是通过新建issue的方式进行提问，这里主要是一些描述性的建议、吐槽）；
- 通过👍来支持其他人的评论，通过👎来反对其他人的评论；
如果在业务落地过程中遇到了技术问题或者有合作共建的需求，欢迎发送邮件到yezhenjie@baidu.com进行沟通。
【希望增加手部关键点的模型】
隔壁家全家桶
甚至专门开创了一个新的框架 用于关键点检测
https://github.com/open-mmlab/mmpose
包括 2D多人姿态估计、2D手部姿态估计、2D人脸关键点检测、133关键点的全身人体姿态估计、3D人体形状恢复、服饰关键点检测、动物关键点检测等
说明还是有市场需求和用户需求的
希望增加手部关键点的模型
隔壁家全家桶 甚至专门开创了一个新的框架 用于关键点检测 https://github.com/open-mmlab/mmpose
包括 2D多人姿态估计、2D手部姿态估计、2D人脸关键点检测、133关键点的全身人体姿态估计、3D人体形状恢复、服饰关键点检测、动物关键点检测等
说明还是有市场需求和用户需求的
@monkeycc 感谢建议，目前手势关键点检测已经在路上啦，黑客松悬赏已经有人揭榜，基于PP-TinyPose新增手势关键点检测模型预计下个版本可以和大家见面！
PaddleDetection也有关键点检测专区，比如PP特色模型PP-TinyPose应用在小度健身镜、添添自由屏等场景，3D关键点检测模型。欢迎体验！
【增加补充 实例分割 模型】
Mask R-CNN (ICCV'2017)
Cascade Mask R-CNN (CVPR'2018)
SOLOv2 (NeurIPS'2020)
现在只有这三个
还有那么多还没加进来呢..
Mask Scoring R-CNN (CVPR'2019)
Hybrid Task Cascade (CVPR'2019)
YOLACT (ICCV'2019)
InstaBoost (ICCV'2019)
SOLO (ECCV'2020)
PointRend (CVPR'2020)
DetectoRS (CVPR'2021)
SCNet (AAAI'2021)
QueryInst (ICCV'2021)
Mask2Former (CVPR'2022)
增加 实例分割 模型
Mask R-CNN (ICCV'2017) Cascade Mask R-CNN (CVPR'2018) SOLOv2 (NeurIPS'2020)
现在只有这三个 还有那么多还没加进来呢..
Mask Scoring R-CNN (CVPR'2019) Hybrid Task Cascade (CVPR'2019) YOLACT (ICCV'2019) InstaBoost (ICCV'2019) SOLO (ECCV'2020) PointRend (CVPR'2020) DetectoRS (CVPR'2021) SCNet (AAAI'2021) QueryInst (ICCV'2021) Mask2Former (CVPR'2022)
@monkeycc QueryInst本次v2.6版本已经更新了，我们不是所有的论文都做复现的，有高优需求的吗？您这边的主要用途是学术研究还是产业落地应用呀？
增加 实例分割 模型
Mask R-CNN (ICCV'2017) Cascade Mask R-CNN (CVPR'2018) SOLOv2 (NeurIPS'2020)
现在只有这三个 还有那么多还没加进来呢..
Mask Scoring R-CNN (CVPR'2019) Hybrid Task Cascade (CVPR'2019) YOLACT (ICCV'2019) InstaBoost (ICCV'2019) SOLO (ECCV'2020) PointRend (CVPR'2020) DetectoRS (CVPR'2021) SCNet (AAAI'2021) QueryInst (ICCV'2021) Mask2Former (CVPR'2022)
@monkeycc 实例分割mask dino即将合入。现在发展很快，有些精度速度相对有点过时的模型论文，如果其方法**或模块比较通用的，才可能会考虑排期复现。
【支持单目标跟踪算法】
suggested by @qiyuezhiguang in #7780
【支持眼动仪相关的算法】
suggested by @nine-city in #7914
【add Salient Object Detection】
suggested by @bittergourd1224 in #7271
solov2是个强大的实例分割模型，但是如何正确配置训练自己的数据集有时候是个问题，希望官方可以出一个专场讲解solov2如何训练自定义类型数据集已经相关配置（在单卡gpu下和多卡gpu下）
我希望能够复现Pix2seq，V2版本。相比其他模型，Pix2seq在小团队中的使用非常友好，尽管它也有一些缺点。您可以在这里找到代码：https://github.com/google-research/pix2seq
许愿能尽快集成meta的segment-anything模型
许愿能尽快集成meta的segment-anything模型
这个可能更偏向于交互式分割，暂时安排在 https://github.com/PaddlePaddle/PaddleSeg 。它的实例分割部分可能会接入 PaddleDetection
【希望增加solov2实例分割的小目标检测功能】
目前的小目标检测仅限于box级别的目标检测模型，对于实例分割模型还不支持小目标检测。希望实例分割也能支持像目标检测中的小目标检测一样的切图拼图功能，以满足高分辨率图片下的小目标分割
【希望能够实现对RT-DETR的量化】
能否官方实现下VanillaNet 为Backbone换掉RT-DETR的ResNet,性能应该会更好
我自己实现了一下推理速度有提升，但没法法做高质量的预训练和调参
test time augment 没有啊 ，WBF 融合也没有啊 这些都是不增加资源的
希望增加EarlyStopping功能
RT-DETR 模型能支持 1280x1280或者1333x800这样的高分辨率的图片吗
在很多场景下，需要这些高分辨率的模型，不然很多小目标的检测效果还是很差的，有时候也不好做对比的
有没有团队一起来搞这个呀
How to conduct incremental training in smd-det and few-shot detection?
In practical applications, adding new data does not need to re-use all the data for training.
Add an Open World Object Detection model that enables the detector to predict class agnostic objects.
【希望增加将单阶段检测器作为 RPN网络的实现】
目前的多阶段目标检测方案中RPN网络较为滞后，mmdetection已经实现https://mmdetection.readthedocs.io/zh_CN/3.x/user_guides/single_stage_as_rpn.html
pp-human希望增加对Deep Java Library的支持
Deep Java Library已经存在很长时间了，对于java开发人员来说修改python太痛苦了。
希望更新一下导出ONNX的说明。 最近导出PPYOLOE和RT-DETR的静态图，都试了很久很久。batchsize想配置为1，结果很麻烦，麻烦更新一下说明呐，谢谢谢谢。
去年初导出ppyoloe的时候还是蛮简单的！
评估eval时能否像train时，可以记录（计算）loss，比较train loss 和val loss 可以大致判断模型是否过拟合。
（源码看了一一天，改了一天，没成功）
目前eval时可以看mAP，这么难的都实现，看val loss应该比较简单的功能也实现一下吧（给科研人一点小福利）。