DF416 / Official_Remote_Sensing_Mamba

Official code of Remote Sensing Mamba

RS-Mamba for Large Remote Sensing Image Dense Prediction

arXiv      PDF

English | 简体中文

简介

本项目仓库是论文 RS-Mamba for Large Remote Sensing Image Dense Prediction 的代码实现，在 VMamba 项目环境的基础上进行开发。

如果你觉得本项目对你有帮助，请给我们一个 star ⭐️。

主要贡献

• 首次将状态空间模型（SSM）引入遥感密集预测任务，实现了模型的线性复杂度
• 相较于之前的无法全局建模的CNN模型和无法处理大遥感图像的transformer模型，RS-Mamba在能够全局建模的情况下只具有线性复杂度，因此能够处理保留了大量上下文信息的大遥感图像
• 语义分割和变化检测任务上的实验证明了，使用简单的模型架构和训练方法的RS-Mamba能够达到SOTA，具有很大的潜力

更新日志

🌟 2024.03.29 发布了 RS-Mamba 项目

TODO

• 开源模型代码
• 开源训练框架

目录

• 简介
• 更新日志
• TODO
• 目录
• 安装
  • 环境安装
• 数据集准备
  • 遥感图像语义分割数据集
    • Massachusetts Roads 数据集
    • WHU 数据集
    • 组织方式
  • 遥感图像变化检测数据集
    • WHU-CD 数据集
    • LEIVR-CD 数据集
    • 组织方式
• 常见问题
  • 1. 安装VMamba环境中的selective_scan库出现问题
  • 2. 运行时出现 ModuleNotFoundError: No module named 'selective_scan_cuda'
• 引用
• 开源许可证
• 论文解读

• 引用
• 开源许可证

• 论文解读

安装

环境安装

步骤 1：按照Vmamba项目的环境安装指示，安装好"rs_mamba"环境

步骤 2：运行以下命令安装依赖包

如果你只需要使用模型代码，则不需要这一步.

pip install -r requirements.txt

数据集准备

遥感图像语义分割数据集

Massachusetts Roads 数据集

• 数据集下载地址：Massachusetts Roads 数据集。

WHU 数据集

• 数据集下载地址： WHU 数据集。

组织方式

你需要将数据集组织成如下的格式：

${DATASET_ROOT} # 数据集根目录，
├── train
    ├── image
        └── 0001.tif
        └── 0002.tif
        └── ...
    ├── label
        └── 0001.tif
        └── 0002.tif
        └── ...
├── val
    ├── image
        └──0001.tif
        └── 0002.tif
        └── ...
    ├── label
        ├── 0001.tif
        └── 0002.tif
        └── ...
├── test
    ├── image
        └── 0001.tif
        └── 0002.tif
        └── ...
    ├── label
        └── 0001.tif
        └── 0002.tif
        └── ...

遥感图像变化检测数据集

WHU-CD 数据集

• 数据集下载地址：WHU-CD 数据集。

LEIVR-CD 数据集

• 数据集下载地址： LEVIR-CD 数据集。

组织方式

你需要将数据集组织成如下的格式：

${DATASET_ROOT} # 数据集根目录，
├── train
    ├── t1
        └── 0001.tif
        └── 0002.tif
        └── ...
    ├── t2
        └── 0001.tif
        └── 0002.tif
        └── ...
    ├── label
        └── 0001.tif
        └── 0002.tif
        └── ...
├── val
    ├── t1
        └── 0001.tif
        └── 0002.tif
        └── ...
    ├── t2
        └── 0001.tif
        └── 0002.tif
        └── ...
    ├── label
        ├── 0001.tif
        └── 0002.tif
        └── ...
├── test
    ├── t1
        └── 0001.tif
        └── 0002.tif
        └── ...
    ├── t2
        └── 0001.tif
        └── 0002.tif
        └── ...
    ├── label
        └── 0001.tif
        └── 0002.tif
        └── ...

常见问题

我们在这里列出了使用时的一些常见问题及其相应的解决方案，后续如果issue中有经常出现的问题，也会在这里列出来。

1. 安装VMamba环境中的selective_scan库出现问题

可以参考VMamba的issue102, issue95, 我的做法是询问GPT4之后，得到了可行的解决方法，使用conda更新GCC即可，相关询问和回答在这里.

2. 运行时出现 ModuleNotFoundError: No module named 'selective_scan_cuda'

可以参考VMamba的issue55, selective_scan_cuda不是必要的

引用

如果你在研究中使用了本项目的代码或者性能基准，请参考如下 bibtex 引用 RSMamba。

xxxx

开源许可证

该项目采用 Apache 2.0 开源许可证。

论文解读

关于这篇论文的中文解读，你可以参照这篇知乎文章

关于SSM和Mamba的学习，可以参照这两篇知乎回答：如何理解 Mamba 模型 Selective State Spaces?, 如何理解语言模型的训练和推理复杂度?