itlab-vision / dl-benchmark

Deep Learning Inference benchmark. Supports OpenVINO™ toolkit, Caffe, TensorFlow, TensorFlow Lite, ONNX Runtime, OpenCV DNN, MXNet, PyTorch, Apache TVM, ncnn, etc.

Home Page:http://hpc-education.unn.ru/dli

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

Падает запуск с docker для MXNet

Rodimkov opened this issue · comments

Запускаюсь как и описано в примере для docker:

docker build -t ubuntu_for_dli .
cd MXNet/
docker build -t mxnet:1.9 .
docker save mxnet:1.9 > mxnet:1.9.tar
docker load < mxnet:1.9.tar
sudo docker run --privileged -it -d -v /dev:/dev \
	-v ~/datasets:/media/datasets \
	--name MXNet \
	mxnet:1.9
cd ../../src/benchmark
python3 inference_benchmark.py --executor_type docker_container \
        -c benchmark.xml -r results.csv

benchmark.xml

<?xml version="1.0" encoding="utf-8"?>
<Tests>
    <Test>
        <Model>
            <Task>classification</Task>
            <Name>AlexNet</Name>
            <Precision>INT8</Precision>
            <SourceFramework>MXNet</SourceFramework>
            <ModelPath></ModelPath>
            <WeightsPath></WeightsPath>
        </Model>
        <Dataset>
            <Name>Data</Name>
            <Path>/datasets/black_square.jpg</Path>
        </Dataset>
        <FrameworkIndependent>
            <InferenceFramework>MXNet</InferenceFramework>
            <BatchSize>1</BatchSize>
            <Device>CPU</Device>
            <IterationCount>5</IterationCount>
            <TestTimeLimit>1</TestTimeLimit>
        </FrameworkIndependent>
        <FrameworkDependent>
            <Mode>Async</Mode>
            <InputName>data</InputName>
            <InputShape>1 3 224 224</InputShape>
            <Hybridize>True</Hybridize>
            <Normalize>True</Normalize>
            <Mean>0.485 0.456 0.406</Mean>
            <Std>0.229 0.224 0.225</Std>
            <ChannelSwap></ChannelSwap>
            <Quantization>True</Quantization>
        </FrameworkDependent>
    </Test>
</Tests>

Получаю следующую ошибку:

inference_mxnet_async_mode.py: error: unrecognized arguments: -q

@Rodimkov как раз сейчас запускаю MXNet в докере. Попробуй пока sync вариант и без квантизации.

<?xml version="1.0" encoding="utf-8"?>
<Tests>
    <Test>
        <Model>
            <Task>classification</Task>
            <Name>alexnet</Name>
            <Precision>FP32</Precision>
            <SourceFramework>MXNet</SourceFramework>
            <ModelPath></ModelPath>
            <WeightsPath></WeightsPath>
        </Model>
        <Dataset>
            <Name>Data</Name>
            <Path>/tmp/itlab-vision-dl-benchmark-data/Datasets/ImageNET/</Path>
        </Dataset>
        <FrameworkIndependent>
            <InferenceFramework>MXNet</InferenceFramework>
            <BatchSize>1</BatchSize>
            <Device>CPU</Device>
            <IterationCount>1000</IterationCount>
            <TestTimeLimit>180</TestTimeLimit>
        </FrameworkIndependent>
        <FrameworkDependent>
            <Mode>Sync</Mode>
            <InputName>data</InputName>
            <InputShape>1 3 224 224</InputShape>
            <Hybridize>True</Hybridize>
            <Normalize>True</Normalize>
            <Mean>0.485 0.456 0.406</Mean>
            <Std>0.229 0.224 0.225</Std>
            <ChannelSwap></ChannelSwap>
            <Quantization></Quantization>
        </FrameworkDependent>
    </Test>
</Tests>

@FenixFly, проблема с одной опцией - q. По твоему конфигу модель с весами FP32, а по конфигурации @Rodimkov перед выводом выполняется автоматическая квантизация.

Думаю проблема возникла из-за рассогласованности версий при сборке докера для dli и для mxnet (первый был собран раньше другого). При последующих запусках проблем не было, поэтому думаю можно закрыть. Если считаете нужным — откройте заново.