Giters

MIC-DKFZ / nnDetection

nnDetection is a self-configuring framework for 3D (volumetric) medical object detection which can be applied to new data sets without manual intervention. It includes guides for 12 data sets that were used to develop and evaluate the performance of the proposed method.

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

[Question]About the result of Task021

ztt0821 opened this issue · comments

commented

Hi, I am using the code to train the Task021. I found the following two questions:

1. The AP result is too bad. Did you have similar results when training task021?

Epoch 57: 100%|█████████████████████████████████████████| 2600/2600 [23:38<00:00, 1.83it/s, loss=-0.804, v_num=4087INFO Val loss reached: 1.84027██████████████████████████████████████████████████████| 100/100 [00:39<00:00, 2.62it/s]
INFO mAP@0.1:0.5:0.05: 0.279 AP@0.1: 0.343 AP@0.5: 0.075
INFO Proxy FG Dice: 0.318
INFO This epoch took 39 s
Epoch 57: 100%|█████████████████████████████████████████| 2600/2600 [23:39<00:00, 1.83it/s, loss=-0.804, v_num=4087INFO Train loss reached: -0.81402
Epoch 58: 100%|█████████████████████████████████████████| 2600/2600 [23:43<00:00, 1.83it/s, loss=-0.802, v_num=4087INFO Val loss reached: 1.89802██████████████████████████████████████████████████████| 100/100 [00:38<00:00, 2.62it/s]
INFO mAP@0.1:0.5:0.05: 0.295 AP@0.1: 0.348 AP@0.5: 0.108
INFO Proxy FG Dice: 0.312
INFO This epoch took 39 s
Epoch 58: 100%|█████████████████████████████████████████| 2600/2600 [23:44<00:00, 1.83it/s, loss=-0.802, v_num=4087INFO Train loss reached: -0.81198
Epoch 59: 100%|█████████████████████████████████████████| 2600/2600 [23:38<00:00, 1.83it/s, loss=-0.812, v_num=4087INFO Val loss reached: 1.92767██████████████████████████████████████████████████████| 100/100 [00:40<00:00, 2.63it/s]
INFO mAP@0.1:0.5:0.05: 0.264 AP@0.1: 0.306 AP@0.5: 0.109
INFO Proxy FG Dice: 0.297
INFO This epoch took 40 s
Epoch 59: 100%|█████████████████████████████████████████| 2600/2600 [23:38<00:00, 1.83it/s, loss=-0.812, v_num=4087INFO Train loss reached: -0.81498
Epoch 59: 100%|█████████████████████████████████████████| 2600/2600 [23:39<00:00, 1.83it/s, loss=-0.812, v_num=4087]

**

  1. After training, the code face the bug:

**

Epoch 59: 100%|█████████████████████████████████████████| 2600/2600 [23:38<00:00, 1.83it/s, loss=-0.812, v_num=4087INFO Train loss reached: -0.81498
Epoch 59: 100%|█████████████████████████████████████████| 2600/2600 [23:39<00:00, 1.83it/s, loss=-0.812, v_num=4087]
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/pytorch_lightning/trainer/deprecated_api.py:32: LightningDeprecationWarning: Trainer.train_loop has been renamed to Trainer.fit_loop and will be removed in v1.6.
rank_zero_deprecation(
INFO Running parameter sweep on ['ProstateX-0006' 'ProstateX-0026' 'ProstateX-0028' 'ProstateX-0030'
'ProstateX-0037' 'ProstateX-0043' 'ProstateX-0050' 'ProstateX-0065'
'ProstateX-0070' 'ProstateX-0073' 'ProstateX-0083' 'ProstateX-0092'
'ProstateX-0103' 'ProstateX-0106' 'ProstateX-0116' 'ProstateX-0123'
'ProstateX-0124' 'ProstateX-0129' 'ProstateX-0130' 'ProstateX-0137'
'ProstateX-0146' 'ProstateX-0152' 'ProstateX-0160' 'ProstateX-0161'
'ProstateX-0166' 'ProstateX-0178' 'ProstateX-0192' 'ProstateX-0200']
INFO Predict cases with default settings...
INFO Running inference
INFO Loading last model
INFO Architecture overwrites: {} Anchor overwrites: {}
INFO Building architecture according to plan of RetinaUNetV001
INFO Start channels: 32; head channels: 128; fpn channels: 128
INFO Discarding anchor generator kwargs {'stride': 1}
INFO Building:: encoder Encoder: {}
INFO Building:: decoder UFPNModular: {'min_out_channels': 8, 'upsampling_mode': 'transpose', 'num_lateral': 1, 'norm_lateral': False, 'activation_lateral': False, 'num_out': 1, 'norm_out': False, 'activation_out': False}
INFO Running ATSS Matching with num_candidates=4 and center_in_gt False.
INFO Building:: classifier BCECLassifier: {'num_convs': 1, 'norm_channels_per_group': 16, 'norm_affine': True, 'reduction': 'mean', 'loss_weight': 1.0, 'prior_prob': 0.01}
INFO Init classifier weights: prior prob 0.01
INFO Building:: regressor GIoURegressor: {'num_convs': 1, 'norm_channels_per_group': 16, 'norm_affine': True, 'reduction': 'sum', 'loss_weight': 1.0, 'learn_scale': True}
INFO Learning level specific scalar in regressor
INFO Overwriting regressor conv weight init
INFO Building:: head DetectionHeadHNMNative: {} sampler HardNegativeSamplerBatched: {'batch_size_per_image': 32, 'positive_fraction': 0.33, 'pool_size': 20, 'min_neg': 1}
INFO Sampling hard negatives on a per batch basis
INFO Building:: segmenter DiCESegmenterFgBg {'dice_kwargs': {'batch_dice': True}}
INFO Running batch dice True and do bg False in dice loss.
INFO Model Inference Summary:
detections_per_img: 100
score_thresh: 0
topk_candidates: 10000
remove_small_boxes: 0.01
nms_thresh: 0.6
INFO Loaded /media/ttzhang/T7/nnDetection/Task021_ProstateX/RetinaUNetV001_D3V001_3d/fold0/model_last.ckpt with
INFO Found inference plan: {} for prediction
INFO Adding 2D Mirror TTA for prediction.
INFO Adding 3D Mirror TTA for prediction.
INFO Using 8 tta transformations for prediction (one dummy trafo).
INFO Found 28 files for inference.
INFO Predicting case 1 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:02<00:00, 3.15it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:02<00:00, 3.01it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:12<00:00, 1.61s/it]
INFO Prediction took 13.560190548974788 s
INFO Predicting case 2 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.11it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.38s/it]
INFO Prediction took 11.385671695985366 s
INFO Predicting case 3 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.09it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.473222476022784 s
INFO Predicting case 4 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.08it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.472343888017349 s
INFO Predicting case 5 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.08it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.38s/it]
INFO Prediction took 11.380997886997648 s
INFO Predicting case 6 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.12it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.08it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.08it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.09it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.38s/it]
INFO Prediction took 11.279338986991206 s
INFO Predicting case 7 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.10it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 4.95it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 4.93it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.513455674983561 s
INFO Predicting case 8 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.10it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.445387810003012 s
INFO Predicting case 9 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.01it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.429863915982423 s
INFO Predicting case 10 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.10it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 4.99it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.01it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.466768918005982 s
INFO Predicting case 11 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.09it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.4507176670013 s
INFO Predicting case 12 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.10it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.08it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.08it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.09it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.38s/it]
INFO Prediction took 11.396520112000871 s
INFO Predicting case 13 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.08it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.488412830018206 s
INFO Predicting case 14 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.48550169399823 s
INFO Predicting case 15 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.08it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.442982400010806 s
INFO Predicting case 16 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.10it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 4.96it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 4.95it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.466242435009917 s
INFO Predicting case 17 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 9/9 [00:01<00:00, 4.91it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 9/9 [00:01<00:00, 4.88it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 9/9 [00:01<00:00, 4.87it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 9/9 [00:01<00:00, 4.87it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 9/9 [00:01<00:00, 4.87it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 9/9 [00:01<00:00, 4.88it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 9/9 [00:01<00:00, 4.86it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 9/9 [00:01<00:00, 4.88it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:14<00:00, 1.85s/it]
INFO Prediction took 15.051321522012586 s
INFO Predicting case 18 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.10it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.38s/it]
INFO Prediction took 11.277296685002511 s
INFO Predicting case 19 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.01it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.01it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.00it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.512867299985373 s
INFO Predicting case 20 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.08it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.01it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.445081701996969 s
INFO Predicting case 21 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.09it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.38s/it]
INFO Prediction took 11.35075472801691 s
INFO Predicting case 22 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.09it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.01it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.449588777992176 s
INFO Predicting case 23 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.08it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.00it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.488423763978062 s
INFO Predicting case 24 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.11it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.08it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 4.89it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 4.89it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.49601910597994 s
INFO Predicting case 25 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.10it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.42676601401763 s
INFO Predicting case 26 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.00it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.01it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.00it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.01it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.40s/it]
INFO Prediction took 11.532059921999462 s
INFO Predicting case 27 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.416189992014552 s
INFO Predicting case 28 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.447226747026434 s
INFO Start parameter sweep...
INFO Running parameter sweep on ['ProstateX-0006', 'ProstateX-0026', 'ProstateX-0028', 'ProstateX-0030', 'ProstateX-0037', 'ProstateX-0043', 'ProstateX-0050', 'ProstateX-0065', 'ProstateX-0070', 'ProstateX-0073', 'ProstateX-0083', 'ProstateX-0092', 'ProstateX-0103', 'ProstateX-0106', 'ProstateX-0116', 'ProstateX-0123', 'ProstateX-0124', 'ProstateX-0129', 'ProstateX-0130', 'ProstateX-0137', 'ProstateX-0146', 'ProstateX-0152', 'ProstateX-0160', 'ProstateX-0161', 'ProstateX-0166', 'ProstateX-0178', 'ProstateX-0192', 'ProstateX-0200'] cases to optimize mAP_IoU_0.10_0.50_0.05_MaxDet_100 with initial state {'model_iou': 0.1, 'model_nms_fn': <function batched_weighted_nms_model at 0x7fd8f6e36a60>, 'model_score_thresh': 0.0, 'model_topk': 1000, 'model_detections_per_image': 100, 'ensemble_iou': 0.5, 'ensemble_nms_fn': <function batched_wbc_ensemble at 0x7fd8f6e36ca0>, 'ensemble_topk': 1000, 'remove_small_boxes': 0.01, 'ensemble_score_thresh': 0.0}.
INFO Running sweep model_iou=1e-05
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:07<00:00, 3.80it/s]
INFO Sweep took 7.414259294018848 s
INFO Running sweep model_iou=0.1
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:07<00:00, 3.55it/s]
INFO Sweep took 7.893234290997498 s
INFO Running sweep model_iou=0.2
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:08<00:00, 3.47it/s]
INFO Sweep took 8.084565617988119 s
INFO Running sweep model_iou=0.30000000000000004
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:08<00:00, 3.33it/s]
INFO Sweep took 8.422119869996095 s
INFO Running sweep model_iou=0.4
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:08<00:00, 3.23it/s]
INFO Sweep took 8.691677705995971 s
INFO Running sweep model_iou=0.5
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:09<00:00, 3.09it/s]
INFO Sweep took 9.059297516010702 s
INFO Running sweep model_nms_fn=<function batched_weighted_nms_model at 0x7fd8f6e36a60>
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:07<00:00, 3.90it/s]
INFO Sweep took 7.183823825995205 s
INFO Running sweep model_nms_fn=<function batched_nms_model at 0x7fd8f6e36820>
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:07<00:00, 3.90it/s]
INFO Sweep took 7.194044450006913 s
INFO Running sweep ensemble_iou=1e-05
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:06<00:00, 4.65it/s]
INFO Sweep took 6.035101087996736 s
INFO Running sweep ensemble_iou=0.1
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:06<00:00, 4.20it/s]
INFO Sweep took 6.682291359989904 s
INFO Running sweep ensemble_iou=0.2
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:06<00:00, 4.09it/s]
INFO Sweep took 6.862783477001358 s
INFO Running sweep ensemble_iou=0.30000000000000004
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:06<00:00, 4.01it/s]
INFO Sweep took 6.9946883259981405 s
INFO Running sweep ensemble_iou=0.4
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:07<00:00, 3.94it/s]
INFO Sweep took 7.12144855200313 s
INFO Running sweep ensemble_iou=0.5
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:07<00:00, 3.87it/s]
INFO Sweep took 7.2545930269989185 s
INFO Running sweep model_score_thresh=0.0
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:06<00:00, 4.27it/s]
INFO Sweep took 6.576663356012432 s
INFO Running sweep model_score_thresh=0.1
100%|███████████████████████████████████████████████████████████████████████████████| 28/28 [00:00<00:00, 116.83it/s]
INFO Sweep took 0.2439111919957213 s
INFO Running sweep model_score_thresh=0.2
100%|███████████████████████████████████████████████████████████████████████████████| 28/28 [00:00<00:00, 114.52it/s]
INFO Sweep took 0.24898245200165547 s
INFO Running sweep model_score_thresh=0.3
100%|███████████████████████████████████████████████████████████████████████████████| 28/28 [00:00<00:00, 124.43it/s]
INFO Sweep took 0.2290720189921558 s
INFO Running sweep model_score_thresh=0.4
100%|███████████████████████████████████████████████████████████████████████████████| 28/28 [00:00<00:00, 125.92it/s]
INFO Sweep took 0.22639564500423148 s
INFO Running sweep model_score_thresh=0.5
100%|███████████████████████████████████████████████████████████████████████████████| 28/28 [00:00<00:00, 128.11it/s]
INFO Sweep took 0.22255994600709528 s
INFO Running sweep model_score_thresh=0.6
100%|███████████████████████████████████████████████████████████████████████████████| 28/28 [00:00<00:00, 129.72it/s]
INFO Sweep took 0.21983283400186338 s
INFO Running sweep remove_small_boxes=0.01
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:06<00:00, 4.29it/s]
INFO Sweep took 6.542895391001366 s
INFO Running sweep remove_small_boxes=2.0
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:03<00:00, 7.26it/s]
INFO Sweep took 3.868332851998275 s
INFO Running sweep remove_small_boxes=3.0
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:02<00:00, 11.52it/s]
INFO Sweep took 2.439304756000638 s
INFO Running sweep remove_small_boxes=4.0
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:01<00:00, 18.41it/s]
INFO Sweep took 1.5291992319980636 s
INFO Running sweep remove_small_boxes=5.0
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:01<00:00, 27.26it/s]
INFO Sweep took 1.0345073879871052 s
INFO Running sweep remove_small_boxes=6.0
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:00<00:00, 40.50it/s]
INFO Sweep took 0.6978000010130927 s
INFO Running sweep remove_small_boxes=7.0
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:00<00:00, 55.23it/s]
INFO Sweep took 0.5125600259925704 s
INFO

Determined {'model_iou': 1e-05, 'model_nms_fn': <function batched_nms_model at 0x7fd8f6e36820>, 'model_score_thresh': 0.0, 'model_topk': 1000, 'model_detections_per_image': 100, 'ensemble_iou': 0.1, 'ensemble_nms_fn': <function batched_wbc_ensemble at 0x7fd8f6e36ca0>, 'ensemble_topk': 1000, 'remove_small_boxes': 3.0, 'ensemble_score_thresh': 0.0} with best sweeping score 0.2952880230276334 mAP_IoU_0.10_0.50_0.05_MaxDet_100

100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:02<00:00, 11.52it/s]
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:02<00:00, 11.85it/s]
INFO Computing box metrics: restore True
INFO Found 28 for box evaluation in /media/ttzhang/T7/nnDetection/Task021_ProstateX/RetinaUNetV001_D3V001_3d/fold0/val_predictions
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
INFO Saving /media/ttzhang/T7/nnDetection/Task021_ProstateX/RetinaUNetV001_D3V001_3d/fold0/val_results/boxes/pred_hist_IoU@0_1.png
INFO Saving /media/ttzhang/T7/nnDetection/Task021_ProstateX/RetinaUNetV001_D3V001_3d/fold0/val_results/boxes/pred_hist_IoU@0_5.png
INFO Saving /media/ttzhang/T7/nnDetection/Task021_ProstateX/RetinaUNetV001_D3V001_3d/fold0/val_results/boxes/cl_0_pred_hist_IoU@0_1.png
INFO Saving /media/ttzhang/T7/nnDetection/Task021_ProstateX/RetinaUNetV001_D3V001_3d/fold0/val_results/boxes/cl_0_pred_hist_IoU@0_5.png
INFO Saving /media/ttzhang/T7/nnDetection/Task021_ProstateX/RetinaUNetV001_D3V001_3d/fold0/val_results/boxes/cl_1_pred_hist_IoU@0_1.png
INFO Saving /media/ttzhang/T7/nnDetection/Task021_ProstateX/RetinaUNetV001_D3V001_3d/fold0/val_results/boxes/cl_1_pred_hist_IoU@0_5.png
INFO Analyze box predictions: restore True
WARNING This feature (run_analysis_suite) is experimental! It might not implement all features or is only a simplification!
0%| | 0/4 [00:00<?, ?it/s]INFO Found 28 predictions for analysis
25%|████████████████████▌ | 1/4 [00:03<00:11, 3.77s/it]INFO Found 28 predictions for analysis
50%|█████████████████████████████████████████ | 2/4 [00:05<00:04, 2.46s/it]INFO Found 28 predictions for analysis
75%|█████████████████████████████████████████████████████████████▌ | 3/4 [00:06<00:02, 2.07s/it]INFO Found 28 predictions for analysis
100%|██████████████████████████████████████████████████████████████████████████████████| 4/4 [00:08<00:00, 2.15s/it]
INFO Computing box metrics: restore False
INFO Found 28 for box evaluation in /media/ttzhang/T7/nnDetection/Task021_ProstateX/RetinaUNetV001_D3V001_3d/fold0/val_predictions_preprocessed
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
INFO Saving /media/ttzhang/T7/nnDetection/Task021_ProstateX/RetinaUNetV001_D3V001_3d/fold0/val_results_preprocessed/boxes/pred_hist_IoU@0_1.png
INFO Saving /media/ttzhang/T7/nnDetection/Task021_ProstateX/RetinaUNetV001_D3V001_3d/fold0/val_results_preprocessed/boxes/pred_hist_IoU@0_5.png
INFO Saving /media/ttzhang/T7/nnDetection/Task021_ProstateX/RetinaUNetV001_D3V001_3d/fold0/val_results_preprocessed/boxes/cl_0_pred_hist_IoU@0_1.png
INFO Saving /media/ttzhang/T7/nnDetection/Task021_ProstateX/RetinaUNetV001_D3V001_3d/fold0/val_results_preprocessed/boxes/cl_0_pred_hist_IoU@0_5.png
INFO Saving /media/ttzhang/T7/nnDetection/Task021_ProstateX/RetinaUNetV001_D3V001_3d/fold0/val_results_preprocessed/boxes/cl_1_pred_hist_IoU@0_1.png
INFO Saving /media/ttzhang/T7/nnDetection/Task021_ProstateX/RetinaUNetV001_D3V001_3d/fold0/val_results_preprocessed/boxes/cl_1_pred_hist_IoU@0_5.png
INFO Analyze box predictions: restore False
WARNING This feature (run_analysis_suite) is experimental! It might not implement all features or is only a simplification!
0%| | 0/4 [00:00<?, ?it/s]INFO Found 28 predictions for analysis
25%|████████████████████▌ | 1/4 [00:01<00:05, 1.69s/it]INFO Found 28 predictions for analysis
50%|█████████████████████████████████████████ | 2/4 [00:03<00:03, 1.56s/it]INFO Found 28 predictions for analysis
75%|█████████████████████████████████████████████████████████████▌ | 3/4 [00:04<00:01, 1.51s/it]INFO Found 28 predictions for analysis
100%|██████████████████████████████████████████████████████████████████████████████████| 4/4 [00:06<00:00, 1.53s/it]
Exception in thread Thread-4:
Traceback (most recent call last):
File "/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/threading.py", line 932, in _bootstrap_inner
self.run()
File "/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/threading.py", line 870, in run
self._target(*self._args, **self._kwargs)
File "/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/batchgenerators/dataloading/multi_threaded_augmenter.py", line 92, in results_loop
raise RuntimeError("One or more background workers are no longer alive. Exiting. Please check the print"
RuntimeError: One or more background workers are no longer alive. Exiting. Please check the print statements above for the actual error message
Exception in thread Thread-3:
Traceback (most recent call last):
File "/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/threading.py", line 932, in _bootstrap_inner
self.run()
File "/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/threading.py", line 870, in run
self._target(*self._args, **self._kwargs)
File "/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/batchgenerators/dataloading/multi_threaded_augmenter.py", line 92, in results_loop
raise RuntimeError("One or more background workers are no longer alive. Exiting. Please check the print"
RuntimeError: One or more background workers are no longer alive. Exiting. Please check the print statements above for the actual error message
Exception ignored in: <function MultiThreadedAugmenter.del at 0x7fd8f706aa60>
Traceback (most recent call last):
File "/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/batchgenerators/dataloading/multi_threaded_augmenter.py", line 294, in del
self._finish()
File "/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/batchgenerators/dataloading/multi_threaded_augmenter.py", line 276, in _finish
self._queues[i].close()
File "/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/multiprocessing/queues.py", line 137, in close
self._reader.close()
File "/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/multiprocessing/connection.py", line 177, in close
self._close()
File "/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/multiprocessing/connection.py", line 361, in _close
_close(self._handle)
OSError: [Errno 9] Bad file descriptor

commented

Dear @ztt0821 ,

  1. since 021 is on the smaller side of the datasets the results can vary a bit since nnDetection (intentionally) does not use a fixed seed for training to avoid overfitting on a single seed. The lines you have posted, seem to be from the live validation on a single fold. The actual results are located in the training folder and to compensate even slightly for the fact of the small datasets, I would recommend to train all five folds and compare the consolidated results.

  2. Was already raised in #201, nothing I can do about it right now and will hopefully disappear with the next release. Note however: this does not limit any functionality, everything should work as expected.

commented

Sorry for the late reply. Thank you for your help.

commented

May i ask how to train all five folds at the same time. Because when i run the training command. nndet_train 021 --sweep -o exp.fold=4, the command will only train on the specific single fold, for example in this case, will train on fold 4. So could you show me the command how to train all five folds at the same time?

commented

You need to run the command once for each fold (this is done to be able to train the folds in parallel).

commented

got it. Thank you.

commented

This issue is stale because it has been open for 30 days with no activity.

commented

This issue was closed because it has been inactive for 14 days since being marked as stale.