深度学习 - TensorRT 模型部署 | Yufei Luo's Blog

[Yufei Luo]

https://lyf35.github.io/2020/12/10/%E8%AE%A1%E7%AE%97%E6%9C%BA%E7%BD%91%E7%BB%9C-%E7%89%A9%E7%90%86%E5%B1%82/

概述 本文以部署目标检测模型YOLOv5为例，说明如何使用TensorRT C++ API部署训练好的神经网络模型，并进行推理。YOLOv5模型的输入为(batch_size, channels, image_height, image_width)，用于推理的模型输出为(batch_size, image_height / 32 * image_width / 32 * 21, num_cla