如何在其他数据集上测试模型的性能。
czy227 opened this issue · comments
作者您好!我还有一个问题,我在METR-LA数据集上训练得到了一个模型,但是我想测试这个模型(.pt)在其他数据集(比如PEMS系列数据集)上的性能,应该怎么做?我看到工程中有test/test_inference.py文件,这应该是预测部分的代码把,但是我看这个这个预测部分指定测试数据集的方式是通过参数“ parser.add_argument('-c', '--cfg', default="step/STEP_METR-LA.py", help='training config')”指定训练时的配置文件来找到测试的数据集,这样就没办法在别的数据集上测试模型的性能,只能在训练时的数据集上测试模型的性能?
希望您能解答我的问题,十分感谢!
STEP不具备可迁移性,因为不同的数据集时间序列的数量不一样,下游的时空图神经网络无法处理。
明白了,也就是只能根据自己的数据集来训练模型。我现在的交通速度数据集是以小时为单位,一天采集24次速度信息,请问这种时间跨度的时间戳,STEP应该也可以很好的预测把
这和时间跨度没什么关系,主要看数据是否具备明确的模式。假如数据的变化是没有明显规律的,那么模型就不可能预测出来。
类比到CV中,同一张图片,假如有的时候告诉模型这是猫,有的时候告诉模型这是狗,那么模型就什么也预测不出来了。
明白了,谢谢您!
不客气。