百度网盘AI大赛：文档图像摩尔纹消除(赛题一)

比赛主页: 文档图像摩尔纹消除

项目简介

本项目为百度AI大赛：文档图像摩尔纹消除(赛题一)的总结，包含前三名方案的学习和复现。

比赛任务

选手需要建立模型，对比赛给定的带有摩尔纹的图片进行处理，消除屏摄产生的摩尔纹噪声，还原图片原本的样子，并提交模型输出的结果图片。希望各位参赛选手结合当下前沿的计算机视觉技术与图像处理技术，在设计搭建模型的基础上，提升模型的训练性能、精度效果和泛化能力。在保证效果精准的同时，可以进一步考虑模型在实际应用中的性能表现，如更轻量、更高效等。

数据集介绍

在本次比赛最新发布的数据集中，所有的图像数据均由真实场景采集得到，再通过技术手段进行相应处理，生成可用的脱敏数据集。该任务为image-to-image的形式，因此源数据和GT数据均以图片的形式来提供。各位选手可基于本次比赛最新发布的训练数据快速融入比赛，为达到更好的算法效果，本次比赛不限制大家使用额外的训练数据来优化模型。测试数据集的GT不做公开，请各位选手基于本次比赛最新发布的测试数据集提交对应的结果文件。备注：百度网盘坚持隐私红线，不会收集或者提供任何用户存储在百度网盘中的文件数据。

数据集构成

|- root  
    |- images
    |- gts

本次比赛最新发布的数据集共包含训练集、A榜测试集、B榜测试集三个部分，其中训练集共1000个样本，A榜测试集共200个样本，B榜测试集共200个样本； images 为带摩尔纹的源图像数据，gts 为无摩尔纹的真值数据（仅有训练集数据提供gts ，A榜测试集、B榜测试集数据均不提供gts）； images 与 gts 中的图片根据图片名称一一对应。

训练集: 下载
A榜测试集: 下载
B榜测试集: 下载

数据集预处理

给定的训练集只有1000对moire-sharp图像，同时由于图像的分辨率非常大且不相同，没办法直接训练，因此我们需要对训练数据进行裁剪和增强。(参考自第一名方案)

(1) 以60%的重叠率将图像切分成512 x 512的patch；

(2) 训练数据增强：水平翻转，竖直翻转。

模型选择

WDNet: https://arxiv.org/abs/2004.00406
MBCNN: https://arxiv.org/abs/2007.07173

WDNet

动机

图像去摩尔纹不仅需要恢复高频图像细节，而且还需要去除频率跨度较大的波纹图案。
大多数现有的方法都是在RGB空间中进行处理，难以区分摩尔条纹和真实的图像内容，以及在处理低频摩尔图案中存在困难。
图像摩尔纹在频域中可以较轻松地处理。在经过小波变换后，摩尔条纹在某些小波子带中会更加明显，因此处理这些子带中可以更轻松地去除摩尔纹。

模型结构

整体网络结构如(a)所示，输入H x W x 3的图，经过2级haar小波变换得到频域 (H/4) x (W/4) x 48 尺寸的图，接下来网络主要部分是提出的双分支结构，一个是（b）中的Dense Branch，另一个是(c)中的Dilation Branch。

Dense Branch : 利用DenseNet模块的旁路连接和特征重用缓解梯度消失，特取图像特征。WDNet中引入了新的DPM模块提取不同方向的摩尔纹模式。

Dilation Branch : 利用空洞卷积提高感受野，利用普通卷积减少网络伪影。

Direction Perception Module : 如图所示，用不同方向的卷积提取不同方向的摩尔纹模式。