qat量化能够导出onnx，能够在tensorrt上进行部署吗？
scuizhibin opened this issue · comments
原理和torch的qat是一致的，都是额外加onnx node来存储量化信息，所以理论上肯定能在 trt 跑，只是仓库里目前的代码不一定跑得通，可能需要你看着改改
大佬再问个问题，使用 torch 进行 qat 训练的时候，有什么要求吗？我按照 官网的例子设置了 config 文件，导出的 onnx 没有 fake 算子。
…---原始邮件---
发件人: "Dahan ***@***.***>
发送时间: 2023年8月27日(周日) 晚上9:54
收件人: ***@***.***>;
抄送: ***@***.******@***.***>;
主题: Re: [THU-MIG/torch-model-compression] qat量化能够导出onnx，能够在tensorrt上进行部署吗？ (Issue #23)
原理和torch的qat是一致的，都是额外加onnx node来存储量化信息，所以理论上肯定能在 trt 跑，只是仓库里目前的代码不一定跑得通，可能需要你看着改改
—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you authored the thread.Message ID: ***@***.***>
啊我也不咋了解torch的qat，只是按官网例子跑过几天，有两年没接触了没法解答