The purpose of this repo is to provide evaluation API of Current Single Object Tracking Dataset, including
- VOT2016
- VOT2018
- VOT2018-LT
- VOT2019
- OTB100(OTB2015)
- UAV123
- NFS
- LaSOT
- LaSOText
- TrackingNet (Evaluation on Server)
- GOT-10k (Evaluation on Server)
git clone https://github.com/Giveupfree/SOTDrawRect.git
pip install -r requirements.txt
cd toolkit/utils/
python setup.py build_ext --inplace
The entire toolkit folder is from pysot-toolkit, but here's a fix for some of its problems
Download json files used in our toolkit baidu pan or Google Drive
-
Put CVRP13.json, OTB100.json, OTB50.json in OTB100 dataset directory (you need to copy Jogging to Jogging-1 and Jogging-2, and copy Skating2 to Skating2-1 and Skating2-2 or using softlink)
The directory should have the below format
| -- OTB100/
| -- Basketball
| ......
| -- Woman
| -- OTB100.json
| -- OTB50.json
| -- CVPR13.json
-
Put all other jsons in the dataset directory like in step 1
cd /path/to/SOTDrawRect
python draw_rect.py \
--dataset_dir /path/to/dataset/root \ # dataset path
--dataset VOT2018 \ # dataset name(VOT2019, VOT2018, VOT2016, OTB100, GOT10k, LaSOT, UAV123)
--tracker_result_dir /path/to/tracker/dir \ # tracker dir
--format pdf \ # save fomat (pdf,png,jpg)
--trackers ours ECO UPDT SiamRPNpp \ # tracker names
--save_dir /path/to/save\ # save dir
cd /path/to/SOTDrawRect
python draw_rect.py \
-- video videoname \
--dataset_dir /path/to/dataset/root \ # dataset path
--dataset VOT2018 \ # dataset name(VOT2019, VOT2018, VOT2016, OTB100, GOT10k, LaSOT, UAV123)
--tracker_result_dir /path/to/tracker/dir \ # tracker dir
--format pdf \ # save fomat (pdf,png,jpg)
--trackers ours ECO UPDT SiamRPNpp \ # tracker names
--save_dir /path/to/save\ # save dir
1.Add JSON file required for LaSOText evaluation.
2.Update the VOT2019.json tags list and corresponding values, and modify its the picture path list.
1.Fix the "RuntimeWarning: Mean of empty slice acc = np.nanmean(overlaps)" warning when pysot-toolkit runs eval.py to verify the VOT2019 Benchmark
1.LaSOText.json中视频序列和注释长度不对应问题:实验发现,在paddle序列中出现视频长度和注释数目(官方提供的数据集和注释)和LaSOT官方提供的工具箱中,与其工具箱所提供的其它跟踪器的结果所对应的视频长度不一致,其中包括数据集的视频序列长度和注释少于跟踪器结果的长度,也出现多于踪器结果的情况。已知这是LaSOT官方的问题,因此慎用LaSOText.json文件做测试,等待LaSOT官方修复,这里也将及时对LaSOText.json文件做出更新。
1.暂时修正paddle-1视频序列长度(同LaSOT工具箱中的一致)
2.使官方提供的其他跟踪器在paddle视频序列下的有效长度与LaSOText所公开的视频序列长度和注释保持一致。
经上述修改后若使用修正后的工具箱测评,成功率结果依然是正常的,但是准确率和归一化准确率结果由于与LaSOText官方的有一定的差别,因此仅提供参考。
1.新增VOT系列各个属性的雷达图绘代码
2.修复原有VOT系列各个属性的雷达图绘制中不能绘制下滑线的问题
1.新增LaSOText2.json,其中LaSOText2.json中paddle-1中的数据长度和官方数据集所提供的长度保持一致。如果想利用官方提供的跟踪器结果文件绘制曲线,建议使用LaSOText.json。LaSOText2.json则是为了方便用户和近期的相关论文中提供的结果进行比较。