awq
Vincent131499 opened this issue · comments
Great work!
请问这个awq-w4a16量化对于qwen1.5系列模型支持了吗？
期待回复！
Great work! 请问这个awq-w4a16量化对于qwen1.5系列模型支持了吗？ 期待回复！
已经支持了，你试用下
@jianglan89 这个是经过awq先生成一版awq-w4a16量化的权重，然后使用rtp-llm来加载量化权重部署是吗？
RTP-LLM: Alibaba's high-performance LLM inference engine for diverse applications.
Vincent131499 opened this issue · comments
Great work!
请问这个awq-w4a16量化对于qwen1.5系列模型支持了吗？
期待回复！
Great work! 请问这个awq-w4a16量化对于qwen1.5系列模型支持了吗？ 期待回复！
已经支持了，你试用下
@jianglan89 这个是经过awq先生成一版awq-w4a16量化的权重，然后使用rtp-llm来加载量化权重部署是吗？