It takes long time to train
juntawu opened this issue · comments
Hello. Thanks for you work.
I trained HRNetV2-W18-C+OCR ITER-M model with command
python3 train.py models/iter_mask/hrnet18_cocolvis_itermask_3p.py --gpus=0,1 --workers=6 --exp-name=first-try
on COCO_LVIS dataset, with 2 GPUs (Tesla-V100-SXM2-32GB).
However, it took me nearly 70+ hours to train 200 epochs. Is this normal ?
Hello. Thanks for you work. I trained HRNetV2-W18-C+OCR ITER-M model with command
python3 train.py models/iter_mask/hrnet18_cocolvis_itermask_3p.py --gpus=0,1 --workers=6 --exp-name=first-try
on COCO_LVIS dataset, with 2 GPUs (Tesla-V100-SXM2-32GB). However, it took me nearly 70+ hours to train 200 epochs. Is this normal ?
It's normal. #3 (comment)
I need 3 days to train 220 epochs. This is why the authors only trained 55 epochs for their experiments.
@juntawu 请问你训了多久呢,batch_size设置的多大,我这边也遇到了这个问题,我是按照代码中给的训练方式训练的,用了单卡,感觉训练的时间太久了。
The patch size is set to 32 by default. To save time, you only need to train 55 epochs on COCO_LVIS as the authors did in their experiments.
@juntawu 请问你训了多久呢,batch_size设置的多大,我这边也遇到了这个问题,我是按照代码中给的训练方式训练的,用了单卡,感觉训练的时间太久了。
The patch size is set to 32 by default. To save time, you only need to train 55 epochs on COCO_LVIS as the authors did in their experiments.
Save checkpoint to experiments\iter_mask\sbd_hrnet18\000_first-try\checkpoints\last_checkpoint.pth
Save checkpoint to experiments\iter_mask\sbd_hrnet18\000_first-try\checkpoints\000.pth
请问我在训练第一个epoch的时候,训练结束后就一直停在这个界面是正常的吗?就是会在这里停滞很久是吗?我也不敢去乱点。
@juntawu 请问你训了多久呢,batch_size设置的多大,我这边也遇到了这个问题,我是按照代码中给的训练方式训练的,用了单卡,感觉训练的时间太久了。
The patch size is set to 32 by default. To save time, you only need to train 55 epochs on COCO_LVIS as the authors did in their experiments.
Save checkpoint to experiments\iter_mask\sbd_hrnet18\000_first-try\checkpoints\last_checkpoint.pth Save checkpoint to experiments\iter_mask\sbd_hrnet18\000_first-try\checkpoints\000.pth 请问我在训练第一个epoch的时候,训练结束后就一直停在这个界面是正常的吗?就是会在这里停滞很久是吗?我也不敢去乱点。
训练结束后会做validation,你可以去过一遍代码,这个代码写得很好。validation的时候会停顿下,但不会很久,而且会有进度条显示。
@juntawu 请问你训了多久呢,batch_size设置的多大,我这边也遇到了这个问题,我是按照代码中给的训练方式训练的,用了单卡,感觉训练的时间太久了。
The patch size is set to 32 by default. To save time, you only need to train 55 epochs on COCO_LVIS as the authors did in their experiments.
Save checkpoint to experiments\iter_mask\sbd_hrnet18\000_first-try\checkpoints\last_checkpoint.pth Save checkpoint to experiments\iter_mask\sbd_hrnet18\000_first-try\checkpoints\000.pth 请问我在训练第一个epoch的时候,训练结束后就一直停在这个界面是正常的吗?就是会在这里停滞很久是吗?我也不敢去乱点。
训练结束后会做validation,你可以去过一遍代码,这个代码写得很好。validation的时候会停顿下,但不会很久,而且会有进度条显示。
我看了代码了,然后也挨个代码打断点找问题,发现他有的时候连for循环都进不去,如果你们都没问题的话,那可能是我的电脑的原因? 或者我的数据集有问题?
@juntawu 请问你训了多久呢,batch_size设置的多大,我这边也遇到了这个问题,我是按照代码中给的训练方式训练的,用了单卡,感觉训练的时间太久了。
The patch size is set to 32 by default. To save time, you only need to train 55 epochs on COCO_LVIS as the authors did in their experiments.
Save checkpoint to experiments\iter_mask\sbd_hrnet18\000_first-try\checkpoints\last_checkpoint.pth Save checkpoint to experiments\iter_mask\sbd_hrnet18\000_first-try\checkpoints\000.pth 请问我在训练第一个epoch的时候,训练结束后就一直停在这个界面是正常的吗?就是会在这里停滞很久是吗?我也不敢去乱点。
训练结束后会做validation,你可以去过一遍代码,这个代码写得很好。validation的时候会停顿下,但不会很久,而且会有进度条显示。
我看了代码了,然后也挨个代码打断点找问题,发现他有的时候连for循环都进不去,如果你们都没问题的话,那可能是我的电脑的原因? 或者我的数据集有问题?
请问你们有每个epoch训练loss都重新开始的问题么,感觉每个epoch都是独立的
@juntawu 请问你训了多久呢,batch_size设置的多大,我这边也遇到了这个问题,我是按照代码中给的训练方式训练的,用了单卡,感觉训练的时间太久了。
The patch size is set to 32 by default. To save time, you only need to train 55 epochs on COCO_LVIS as the authors did in their experiments.
Save checkpoint to experiments\iter_mask\sbd_hrnet18\000_first-try\checkpoints\last_checkpoint.pth Save checkpoint to experiments\iter_mask\sbd_hrnet18\000_first-try\checkpoints\000.pth 请问我在训练第一个epoch的时候,训练结束后就一直停在这个界面是正常的吗?就是会在这里停滞很久是吗?我也不敢去乱点。
请问后来这个问题是怎么解决的呢,我训练自己的数据集也遇到了同样的问题,训练完第一个epoch到validation就卡死了
久是吗?我也不敢去乱点。
训练结束后会做validation,你可以去过一遍代码,这个代码写得很好。validation的时候会停顿下,但不会很久,而且会有进度条显示。
我看了代码了,然后也挨个代码打断点找问题,发现他有的时候连for循环都进不去,如果你们都没问题的话,那可能是我的电脑的原因? 或者我的数据集有问题?
请问你们有每个epoch训练loss都重新开始的问题么,感觉每个epoch都是独立的
请问这个问题后来你怎么解决的呢?
@juntawu 请问你训了多久呢,batch_size设置的多大,我这边也遇到了这个问题,我是按照代码中给的训练方式训练的,用了单卡,感觉训练的时间太久了。
The patch size is set to 32 by default. To save time, you only need to train 55 epochs on COCO_LVIS as the authors did in their experiments.
Save checkpoint to experiments\iter_mask\sbd_hrnet18\000_first-try\checkpoints\last_checkpoint.pth Save checkpoint to experiments\iter_mask\sbd_hrnet18\000_first-try\checkpoints\000.pth 请问我在训练第一个epoch的时候,训练结束后就一直停在这个界面是正常的吗?就是会在这里停滞很久是吗?我也不敢去乱点。
请问这个问题后来你怎么解决的呢?
@juntawu 请问你训了多久呢,batch_size设置的多大,我这边也遇到了这个问题,我是按照代码中给的训练方式训练的,用了单卡,感觉训练的时间太久了。
The patch size is set to 32 by default. To save time, you only need to train 55 epochs on COCO_LVIS as the authors did in their experiments.
Save checkpoint to experiments\iter_mask\sbd_hrnet18\000_first-try\checkpoints\last_checkpoint.pth Save checkpoint to experiments\iter_mask\sbd_hrnet18\000_first-try\checkpoints\000.pth 请问我在训练第一个epoch的时候,训练结束后就一直停在这个界面是正常的吗?就是会在这里停滞很久是吗?我也不敢去乱点。
请问后来这个问题是怎么解决的呢,我训练自己的数据集也遇到了同样的问题,训练完第一个epoch到validation就卡死了
请问这个问题后来你怎么解决的呢?
好像是因为影像的原因,把没有标签的剔除掉就可以了
…
------------------ 原始邮件 ------------------ 发件人: @.>; 发送时间: 2022年5月7日(星期六) 下午5:42 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [saic-vul/ritm_interactive_segmentation] It takes long time to train (#5) @juntawu 请问你训了多久呢,batch_size设置的多大,我这边也遇到了这个问题,我是按照代码中给的训练方式训练的,用了单卡,感觉训练的时间太久了。 The patch size is set to 32 by default. To save time, you only need to train 55 epochs on COCO_LVIS as the authors did in their experiments. Save checkpoint to experiments\iter_mask\sbd_hrnet18\000_first-try\checkpoints\last_checkpoint.pth Save checkpoint to experiments\iter_mask\sbd_hrnet18\000_first-try\checkpoints\000.pth 请问我在训练第一个epoch的时候,训练结束后就一直停在这个界面是正常的吗?就是会在这里停滞很久是吗?我也不敢去乱点。 请问后来这个问题是怎么解决的呢,我训练自己的数据集也遇到了同样的问题,训练完第一个epoch到validation就卡死了 请问这个问题后来你怎么解决的呢? — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>
没有标签是指有原始图像 images/sth.jpg 但是没有对应的掩膜masks/sth.png么?
我的情况是使用3D的医学图像切片做的训练数据集,每个原始图像images/sth.jpg都有对应的masks/sth.png图像,但是mask图像有一定比例是纯黑的(mask图像内没有目标)
@yangshunDragon 你好,我也是想用这个模型做一下医学图像分割,想请问一下您这个问题解决了吗