slim量化模型比原始模型更大,更慢
JinYuannn opened this issue · comments
3.2M指的是nb模型,cpu慢多少呢?有详细的测试数据吗?
cpu:i7-11700k
os: windows 11
原始模型:70ms(单线程)/ 35(mkl 10线程)
slim模型:100ms(单线程)/ 50 (mkl 10线程)
另外:en_number_mobile_slim_v2.0_rec有计划更新到v3.0吗?
另外:en_number_mobile_slim_v2.0_rec有计划更新到v3.0吗?
en_PP-OCRv3_rec_slim
这个就是v3版本的
这边量化的话,可以使用int8精度来测
另外:en_number_mobile_slim_v2.0_rec有计划更新到v3.0吗?
en_PP-OCRv3_rec_slim
这个就是v3版本的
mobile_slim是比rec_slim更小的模型吧?
这边量化的话,可以使用int8精度来测
cpp_infer如何使用int8?
另外:en_number_mobile_slim_v2.0_rec有计划更新到v3.0吗?
en_PP-OCRv3_rec_slim
这个就是v3版本的mobile_slim是比rec_slim更小的模型吧?
mobile可以理解是v1,最新的是v3,v2之后就不再区分mobile和server模型了
这边量化的话,可以使用int8精度来测
cpp_infer如何使用int8?
通过 precision
参数指定
谢谢解答!
这边量化的话,可以使用int8精度来测
cpp_infer如何使用int8?
通过
precision
参数指定
python端在utility.py也有'precision'这个参数,用的就是int8,但是依然slim量化训练模型cpu耗时反而比训练模型大呢?