关于精度和速度的测试问题
MichaelFan01 opened this issue · comments
您好，我想了解一下 70.1% mIoU 的精度的输入大小是512 * 1024还是 1024 * 2048？
看文章中说速度的测试是先resize为512 * 1024测试，然后resize回原尺寸；但是看代码里，对于精度的测试默认直接用scale=1.0测试, 也就是用1024 * 2048的尺度测试了精度，这个我有点困惑，感觉速度和精度的测试并不match, 辛苦解答一下哈~
你好，在实时网络精度测试的时候并没有用evaluate.py进行测试，这个代码主要是提供给大家一个多尺度测试的方法进行参考。另外因为在ADE20K数据集中为了跟其余多尺度测试的方法进行比较，在ADE20K上我们也是使用了多尺度测试的。
你好，在实时网络精度测试的时候并没有用
evaluate.py进行测试，这个代码主要是提供给大家一个多尺度测试的方法进行参考。另外因为在ADE20K数据集中为了跟其余多尺度测试的方法进行比较，在ADE20K上我们也是使用了多尺度测试的。
好的，多谢解答；我想了解下，咱们文章中提到的三个版本（light, ResNet18, DF2）都是用的512 * 1024同时测试速度和精度么~
还有，测速速度的话，咱们这边的实验环境大概是什么样的啊，pytorch版本啊，加速情况啊之类的~
测试速度以及精度时的设定都是保持一致的。测速时用的是1080ti，pytorch版本没有要求，没有使用加速手段。
测试速度以及精度时的设定都是保持一致的。测速时用的是1080ti，pytorch版本没有要求，没有使用加速手段。
多谢，我再问个问题哈，咱们的light这个backbone有做过预训练么~
没有的
没有的
好的，多谢哈~
不客气~
作者你好，同样是这个问题，“Our method is tested on a single GTX 1080Ti GPU with a full image of 1024 x 2048 as input which is resized into 512 x 1024 in the model. Then we resize the prediction to the original size and the time of resizing is included in the inference time measurement, which means the practical input size is 1024 × 2048” 能不能认为你在测试模型精度的时候输入图像为1024 x 2048， 然而测速度的时候呢，实际输入大小变成了512 x 1024？尽管你认为把输入图片从放缩到512 x 1024，并把输出放缩回去1024 x 2048这两个时间消耗一并纳入速度计算，但是其实你输入的网络的只有512 x 1024，这不是真的跟测精度的时候match起来。最后我希望作者方便的时候能放出对应模型，我们后面研究好测试并对比。