训centernet耗时特别长
AAAAAhuang opened this issue · comments
Huang Jingru commented
hello,
我对比了一下centernet源码和你的repo里的centernet,发现用你的repo训练centernet比源码一个epoch耗时长很多,大概一个64batchsize的iter需要20s,centernet源码几乎是秒级。
对比了下代码好像没有大的区别,请问你知道为啥么
zgcr commented
hello,
我对比了一下centernet源码和你的repo里的centernet,发现用你的repo训练centernet比源码一个epoch耗时长很多,大概一个64batchsize的iter需要20s,centernet源码几乎是秒级。
对比了下代码好像没有大的区别,请问你知道为啥么
你好,训练时间的长短和你的显卡和硬盘硬件息息相关,有时候环境问题也可能导致训练特别慢。我的训练代码中全部使用了混合精度训练,如果你的显卡是RTX10系列或者更老的显卡,混合精度训练速度会很慢,因为这些显卡的半精度浮点计算能力相对于单精度浮点计算能力没什么优势。此外,如果使用的是机械硬盘,有时候会因为硬盘多任务同时读取超出了硬盘的读取能力,导致数据来不及读取拉长耗时。我训练时使用的是2张RTX3090显卡+固态硬盘,目前没有发现训练特别慢的问题,请自行检查自己机器的硬件和代码环境配置。