如何在其他数据集上测试模型的性能。
czy227 opened this issue · comments
作者您好！我还有一个问题，我在METR-LA数据集上训练得到了一个模型，但是我想测试这个模型（.pt）在其他数据集（比如PEMS系列数据集）上的性能，应该怎么做？我看到工程中有test/test_inference.py文件，这应该是预测部分的代码把，但是我看这个这个预测部分指定测试数据集的方式是通过参数“ parser.add_argument('-c', '--cfg', default="step/STEP_METR-LA.py", help='training config')”指定训练时的配置文件来找到测试的数据集，这样就没办法在别的数据集上测试模型的性能，只能在训练时的数据集上测试模型的性能？
希望您能解答我的问题，十分感谢！
STEP不具备可迁移性，因为不同的数据集时间序列的数量不一样，下游的时空图神经网络无法处理。
明白了，也就是只能根据自己的数据集来训练模型。我现在的交通速度数据集是以小时为单位，一天采集24次速度信息，请问这种时间跨度的时间戳，STEP应该也可以很好的预测把
这和时间跨度没什么关系，主要看数据是否具备明确的模式。假如数据的变化是没有明显规律的，那么模型就不可能预测出来。
类比到CV中，同一张图片，假如有的时候告诉模型这是猫，有的时候告诉模型这是狗，那么模型就什么也预测不出来了。
明白了，谢谢您！
不客气。