microsoft / nn-Meter

A DNN inference latency prediction toolkit for accurately modeling and predicting the latency on diverse edge devices.

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

datasets 中模型构建onnx无法通过infershape

Ein42 opened this issue · comments

commented

您好
我尝试根据datasets当中Alexnet模型的参数生成为onnx,但是�无法通过infershape的检测,�我想了解下这些模型是如何实现测速的,是根据单个node的预测结果求和得到整个模型的速度吗?
image

Hi,
目前dataset里模型的latency是我们通过生成tensorflow frozen pb/tflite模型,再在对应硬件上进行latency测量的。我们在公开数据集时,由于全部model的文件size太大,我们的处理是parse tensorflow pb, 并按照其node属性等保存成json文件。由于tensorflow和onnx模型保存格式不同,因此无法直接将datasets中模型的json string生成onnx。

如果需要onnx 模型测试,可先下载onnx_models.zip。

Close the issue considering no further discussion. If you have other question, please feel free to create a new issue. 😃