PaddlePaddle / PaddleOCR

Awesome multilingual OCR toolkits based on PaddlePaddle (practical ultra lightweight OCR system, support 80+ languages recognition, provide data annotation and synthesis tools, support training and deployment among server, mobile, embedded and IoT devices)

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

slim量化模型比原始模型更大,更慢

JinYuannn opened this issue · comments

image

表格中显示en_PP-OCRv3_rec_slim推理模型只有3.2M,但是下载下来模型+参数有10M,比en_PP-OCRv3_rec还要大。

image

image

用CPU推理slim比原始慢了50ms。 请问这是为什么,slim版本不应该更小更快吗?

3.2M指的是nb模型,cpu慢多少呢?有详细的测试数据吗?

cpu:i7-11700k
os: windows 11

原始模型:70ms(单线程)/ 35(mkl 10线程)
slim模型:100ms(单线程)/ 50 (mkl 10线程)

另外:en_number_mobile_slim_v2.0_rec有计划更新到v3.0吗?

另外:en_number_mobile_slim_v2.0_rec有计划更新到v3.0吗?

en_PP-OCRv3_rec_slim 这个就是v3版本的

这边量化的话,可以使用int8精度来测

另外:en_number_mobile_slim_v2.0_rec有计划更新到v3.0吗?

en_PP-OCRv3_rec_slim 这个就是v3版本的

mobile_slim是比rec_slim更小的模型吧?

这边量化的话,可以使用int8精度来测

cpp_infer如何使用int8?

另外:en_number_mobile_slim_v2.0_rec有计划更新到v3.0吗?

en_PP-OCRv3_rec_slim 这个就是v3版本的

mobile_slim是比rec_slim更小的模型吧?

mobile可以理解是v1,最新的是v3,v2之后就不再区分mobile和server模型了

这边量化的话,可以使用int8精度来测

cpp_infer如何使用int8?

通过 precision 参数指定

谢谢解答!

这边量化的话,可以使用int8精度来测

cpp_infer如何使用int8?

通过 precision 参数指定

python端在utility.py也有'precision'这个参数,用的就是int8,但是依然slim量化训练模型cpu耗时反而比训练模型大呢?