guanfuchen / semseg

常用的语义分割架构结构综述以及代码复现 华为媒体研究院 图文Caption、OCR识别、图视文多模态理解与生成相关方向工作或实习欢迎咨询 15757172165 https://guanfuchen.github.io/media/hw_zhaopin_20220724_tiny.jpg

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

项目下一步开发计划

guanfuchen opened this issue · comments

删除线表示任务完成或基本完成。

  • 增加DALI处理数据增广
  • 增加多机多卡训练
  • 代码重构,参考Python风格规范
  • 增加学习率调整率策略和优化器选择,增加step学习率,由于要多个step间隔,可以用list但是比较麻烦,预期后面增加文本配置文件
    参考schedulersoptimizers
    参考StepLR
  • 将LRN模型多loss损失进行复现
  • 总结3D相关的语义分割综述
  • add benchmark for different models #9
  • 增加模型DeConvolution,参考 #48
  • 增加模型FRRN A和FRRN B,参考 #50
  • 增加实现另一种权重损失函数bootstrapped_cross_entropy2d,参考 #49
  • 增加GPU资源不足时用梯度累加近似多batch训练,参考博客PyTorch 大批量数据在单个或多个 GPU 训练指南,仍在调试测试性能,测试没有问题,但是训练需要注意,这种操作相当于增加了batch,需要设置相当的学习率,原先batch size为1时学习率设置较小1e-4,如果用了grad_acc_steps=5那么可以设置稍大的学习率1e-5
  • 查看LightNet,看看相关实现以及其他相关论文架构代码。
  • 预计增加future semantic segmentation, 参考Future Semantic Segmentation with Convolutional LSTM
  • 目前仓库由于增加太多内容比较乱,将主要重构一下,增加input_channel适应不同输入通道
  • 增加DenseASPP模块,参考 #27 ,参考实现DenseASPP
  • 阅读Wider or Deeper: Revisiting the ResNet Model for Visual Recognition论文并实现相关结构,参考 #15 ,下一步实现Wider or Deeper分类网络和对应的分割网络
  • 阅读Large Kernel Matters Improve Semantic Segmentation by Global Convolutional Network并实现相关网络结构,参考 #51
  • 参考resnet.py,将原先的fcn_resnet的思路用反卷积,DeconvBottleneck和Bottleneck的方法实现
  • 阅读Exploring Context with Deep Structured models for Semantic Segmentation论文
  • 阅读Context Encoding for Semantic Segmentation论文并实现相关结构,参考 #52
  • 重构代码PSPNet,可参考模型PyTorch-Encoding,可以参考pytorch-segmentation,其中有PSPNet,UNet和DeepLabV3的实现
  • 参考(pt_mobilenetv2_deeplabv3)[https://github.com/jinfagang/pt_mobilenetv2_deeplabv3]实现基于mobilenetv2的deeplabv3模型
  • ...

感谢作者的分享~不知作者有没有增加HRNet相关model的计划https://github.com/HRNet/HRNet-Semantic-Segmentation?