MaybeShewill-CV / attentive-gan-derainnet

Unofficial tensorflow implemention of "Attentive Generative Adversarial Network for Raindrop Removal from A Single Image (CVPR 2018) " model https://maybeshewill-cv.github.io/attentive-gan-derainnet/

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

请问我这个效果是哪个环节出了问题

fenglenchiqing opened this issue · comments

您好,我用了350张图片进行预训练,迭代了2w次,结果效果很糟糕,请问是哪里出问题了呢
derain_ret
src_image

@fenglenchiqing 1.检查标签是否正确和匹配 2.检查训练过程中的loss值有没有异常

1.rain_image图片不同(同一背景,雨水或多或少),clean_image是同一张图片。
0_clean
0_rain
这是其中俩张train_image和标签,我在想是不是图片色彩不一样,导致gan学习的重点变成图片色彩了
RTN%GYITCKAD@ZA%KLUU71
这是我训练的loss

@fenglenchiqing 看这个psnr和ssim值 网络学习情况不好 你需要针对你自己的数据调整数据或者网络结构。比如标签生成的mask是否真实有效,还有学习到的mask你也可以输出来自行查看是否是有效学习的结果.

您好 ,我看了下你细节代码,感觉写得非常好。我调整了我的数据集(在玻璃上洒水,拍摄1分钟视频,采集了300张水滴图片,这些图片的clean-image是同一张图片)我用您的原始参数训练了10step,结果测试图片很模糊。发现我的注意map没有学到位。针对我的测试结果,请您给我一点调参的建议
KSWOP{OMMW85J0Q2P@EMZ8](https://user-images.githubusercontent.com/49056000/55678368-fbd43e00-592a-11e9-8949-7b40beda5561.png) ![TI5$LESTE~9JGLS2XU(RRI

这是我训练的结果,我感觉SSIM挺高的,d-loss不下降,g-loss都变成负的了,您看 如何入手改变参数比较合适
KSWOP{OMMW85J0Q2P@`EMZ8

@fenglenchiqing 我觉得这个mask的结果主要是受mask标签的影响 你可以调整制作mask的threshold或者改变生成mask的方式再试试看~

感谢您的耐心指导,我改变下mask的threshold再试试看

@fenglenchiqing 欢迎分享结果和调参经验:)

@fenglenchiqing 请问你是用作者的训练代码复现的吗,训练过程中没有报错吗

@fenglenchiqing 请问你是用作者的训练代码复现的吗,训练过程中没有报错吗
中间路径出了点问题,改一下就好了,现在跑通了,去雨效果还是不错的

@fenglenchiqing 欢迎分享结果和调参经验:)
您好,您的代码写的还是很棒的!
这是我重新采集数据后的效果,我之前用的jpg,这次用的png,并且之前是拿手机拍的视频,拍摄过程有点晃动,这次把手机固定住拍摄,最终去雨效果还不错。我在想代码mask是相减得到的,那对train图片要求很高,背景应该要一模一样。但是实际项目场景中,这对背景一样的图片很难采集。调参我倒是没怎么动。

@fenglenchiqing 欢迎分享结果和调参经验:)

图片1
图片2

你这个雨滴太小了,如果原数据那么多雨滴,你自己拍摄的再那么好,才可以