在非bicubic的仿真实数据上训练，Loss和PSNR表现不佳
canornot opened this issue · comments
感谢作者的贡献！ECBSR模型在DIV2K的bicubic的数据上PSNR能确实到达很高。为了更好的落地作者的算法，我们尝试用同样的模型训练一批仿真的DIV2K多帧Y数据（退化方案不仅是Bicubic，而是复杂多样的，并通过亚像素位移融入多帧信息），得出来的PSNR结果却降到26左右且很难上升到30以上，Loss也很难像bicubic一样降到3左右：
##===========Epoch: 8=============##
Epoch:008, 0003200/3933696, loss: 7.0499, time: 13.528, psnr: 26.5676, ssim: 0.8217
Epoch:008, 0006400/3933696, loss: 6.9462, time: 8.626, psnr: 26.0487, ssim: 0.8200
Epoch:008, 0009600/3933696, loss: 6.9424, time: 8.789, psnr: 25.4504, ssim: 0.8032
Epoch:008, 0012800/3933696, loss: 6.9694, time: 8.869, psnr: 25.2612, ssim: 0.8418
Epoch:008, 0016000/3933696, loss: 6.9461, time: 8.921, psnr: 26.3836, ssim: 0.8434
Epoch:008, 0019200/3933696, loss: 6.9384, time: 8.902, psnr: 24.9899, ssim: 0.7983
Epoch:008, 0022400/3933696, loss: 6.9713, time: 8.835, psnr: 26.5746, ssim: 0.8638
Epoch:008, 0025600/3933696, loss: 6.9641, time: 8.790, psnr: 24.8029, ssim: 0.8114
Epoch:008, 0028800/3933696, loss: 6.9686, time: 8.926, psnr: 25.2221, ssim: 0.8379
Epoch:008, 0032000/3933696, loss: 6.9657, time: 8.830, psnr: 27.0723, ssim: 0.8332
Epoch:008, 0035200/3933696, loss: 6.9636, time: 9.089, psnr: 28.2336, ssim: 0.8760
想请教作者能否给些建议呢？感谢作者！
请问使用其他超分模型（如EDSR），会出现这种情况吗？还是这是所有超分问题的通病？
请问使用其他超分模型（如EDSR），会出现这种情况吗？还是这是所有超分问题的通病？
目前我们使用近似的FLOPS的其他模型暂时没有这种问题，感觉可能还是纯3x3卷积串联处理实际非bicubic LR的能力有限，可能采用作者table 4中融入其他模型的方案更有效一些。
8.830
您好，其他退化的数据上我们还没有调过实验。请问你用的训练和测试数据能告知一下嘛？谢谢。
请问使用其他超分模型（如EDSR），会出现这种情况吗？还是这是所有超分问题的通病？
超分退化问题比较大，影响结果的因素也都是比较综合性的。模型本身adapt到不同退化类型数据上，应该都会存在一些局限性。
楼主一提这个问题，我都不敢训了
你说的table4是指fsrcnn吗
请问使用其他超分模型（如EDSR），会出现这种情况吗？还是这是所有超分问题的通病？
目前我们使用近似的FLOPS的其他模型暂时没有这种问题，感觉可能还是纯3x3卷积串联处理实际非bicubic LR的能力有限，可能采用作者table 4中融入其他模型的方案更有效一些。
@canornot 你好，请问一下你们采用的近似FLOPS的模型是哪个啊？我同样也遇到了这个问题。非常感谢
8.830
您好，其他退化的数据上我们还没有调过实验。请问你用的训练和测试数据能告知一下嘛？谢谢。
感谢作者回复！训练和测试数据都是DIV2K。但是退化流程走的是相机的退化流程，即反gamma, 加一点随机高斯模糊，下采样，加一点随机泊松和高斯噪声，再正gamma回来。
楼主一提这个问题，我都不敢训了
你说的table4是指fsrcnn吗
对 ，FSRCNN加上ECB还可以
请问使用其他超分模型（如EDSR），会出现这种情况吗？还是这是所有超分问题的通病？
目前我们使用近似的FLOPS的其他模型暂时没有这种问题，感觉可能还是纯3x3卷积串联处理实际非bicubic LR的能力有限，可能采用作者table 4中融入其他模型的方案更有效一些。
@canornot 你好，请问一下你们采用的近似FLOPS的模型是哪个啊？我同样也遇到了这个问题。非常感谢
我试过FSRCNN, ESRGAN等将内部3x3卷积换成ECB还是有效的
请问使用其他超分模型（如EDSR），会出现这种情况吗？还是这是所有超分问题的通病？
目前我们使用近似的FLOPS的其他模型暂时没有这种问题，感觉可能还是纯3x3卷积串联处理实际非bicubic LR的能力有限，可能采用作者table 4中融入其他模型的方案更有效一些。
说的非常对，这也是我们遇到的问题，生产环境中这些玩意儿没一个灵的，还是得靠edsr或者rrdb
请问使用其他超分模型（如EDSR），会出现这种情况吗？还是这是所有超分问题的通病？
目前我们使用近似的FLOPS的其他模型暂时没有这种问题，感觉可能还是纯3x3卷积串联处理实际非bicubic LR的能力有限，可能采用作者table 4中融入其他模型的方案更有效一些。
说的非常对，这也是我们遇到的问题，生产环境中这些玩意儿没一个灵的，还是得靠edsr或者rrdb
ECBSR总体上也是个EDSR结构的模型，为了面对复杂降质不敌其他等量FLops的超分模型呢？多路分支理论上是能够稳定提点的啊..
请问使用其他超分模型（如EDSR），会出现这种情况吗？还是这是所有超分问题的通病？
目前我们使用近似的FLOPS的其他模型暂时没有这种问题，感觉可能还是纯3x3卷积串联处理实际非bicubic LR的能力有限，可能采用作者table 4中融入其他模型的方案更有效一些。
@canornot 你好，请问一下你们采用的近似FLOPS的模型是哪个啊？我同样也遇到了这个问题。非常感谢
我试过FSRCNN, ESRGAN等将内部3x3卷积换成ECB还是有效的
hello，ECBSR设计的初衷主要是端侧的实时超分，所以用的模型比较小。小模型在复杂的退化数据上肯定会出现更严重的欠拟合问题。你在你那种退化类型上测试的ECBSR模型具体是哪一个呢？如果是非常小的M4C16这样的模型，PSNR可能确实不会太高。和FSRCNN复杂度对应的模型是ECBSR-M10C16，可以试试调整模型复杂度看看。
BSR模型在DIV2K的bicubic的数据上PSNR能确实到达很高。为了更好的落地作者的算法，我们尝试用同样的模型训练一批仿真的DIV2K多帧Y数据（退化方案不
将3*3卷积换成ECB 计算量会增加吗？
也
请问用的什么显卡？是把数据全部加载到RAM中训练的吗？我用3090，不通过RAM加载所有数据，一个batch需要400s，我看你上面都是8s左右，