itlab-vision / dl-benchmark

Deep Learning Inference benchmark. Supports OpenVINO™ toolkit, Caffe, TensorFlow, TensorFlow Lite, ONNX Runtime, OpenCV DNN, MXNet, PyTorch, Apache TVM, ncnn, etc.

Home Page:http://hpc-education.unn.ru/dli

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

Use returncode instead of grep error in logs

zmaslova opened this issue · comments

В акьюраси модуле не проверяется returncode, вместо этого идёт поиск слова error в логах.
В github actions кажется поменяли серваки, на которых запускаются наши смок тесты, и теперь в логах есть стандартный принт от tensorflow:

"2022-11-03 05:59:10.464614: W tensorflow/stream_executor/platform/default/dso_loader.cc:64] Could not load dynamic library 'libcudart.so.11.0'; dlerror: libcudart.so.11.0: cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /opt/hostedtoolcache/Python/3.8.14/x64/lib/python3.8/site-packages/cv2/../../lib64:/opt/hostedtoolcache/Python/3.8.14/x64/lib", '2022-11-03 05:59:10.464653: I tensorflow/stream_executor/cuda/cudart_stub.cc:29] Ignore above cudart dlerror if you do not have a GPU set up on your machine.

Это нормальное поведение tensorflow на машинах, где нет nvidia gpu. Но smoke tests теперь падают, и CI красный.

Предлагаем использовать returncode в акьюраси модуле, по аналогии с тем, как это уже сделано в инференсе. PR скоро откроем.