itlab-vision / dl-benchmark

Deep Learning Inference benchmark. Supports OpenVINO™ toolkit, Caffe, TensorFlow, TensorFlow Lite, ONNX Runtime, OpenCV DNN, MXNet, PyTorch, Apache TVM, ncnn, etc.

Home Page:http://hpc-education.unn.ru/dli

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

Добавление общего времени выполнения всех запросов на вывод

valentina-kustikova opened this issue · comments

@n-berezina-nn, @maslovaz, при подготовке статьи мы с @FenixFly поняли, что нам не хватает еще одного показателя производительности - общего времени выполнения всех запросов на вывод. Он имеет смысл с точки зрения сравнения производительности фреймворков, которые имеют возможности асинхронного исполнения. Таким образом, можно будет включать в сравнение и throughput-режим OpenVINO + матричные операции в MXNet выполняются асинхронно, поэтому для него тоже имеет смысл поддержку вывода без ожидания завершения операций прямого прохода. Как вы думаете?

@FenixFly