micronet, a model compression and deploy lib. compression: 1、quantization: quantization-aware-training(QAT), High-Bit(>2b)(DoReFa/Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference)、Low-Bit(≤2b)/Ternary and Binary(TWN/BNN/XNOR-Net); post-training-quantization(PTQ), 8-bit(tensorrt); 2、 pruning: normal、regular and group convolutional channel pruning; 3、 group convolution structure; 4、batch-normalization fuse for quantization. deploy: tensorrt, fp32/fp16/int8(ptq-calibration)、op-adapt(upsample)、dynamic_shape
JoeYounger opened this issue · comments
您好，对您的工作表示祝贺，实在太赞了。我是名刚接触量化的萌新，最近需要实现低比特的后训练量化PTQ，由于知识有限，有两个疑问非常希望得到您的解答：
1.是只有iao才支持PTQ吗？
2.readme提到的“加载剪枝后的模型再做量化”中的量化指的是QWT还是PTQ呢？
2.我期望做低精度的PTQ（2～5bit），请问可以迁移您的工作以实现吗？还是说PTQ 只支持8bit的量化呢？
再次感谢您的工作！！！
1、是iao做PTQ效果好一些，所以只在iao里实现了PTQ；
2、都可以，但PTQ的话剪枝比例得给小一点，不然可能精度不够；
3、只是精度问题，可以直接设置bit；但保证精度的前提下，PTQ想做到4-bit以下，很难。