kvcache-ai / ktransformers

A Flexible Framework for Experiencing Cutting-edge LLM Inference Optimizations

Home Page:https://kvcache-ai.github.io/ktransformers/

Repository from Github https://github.comkvcache-ai/ktransformersRepository from Github https://github.comkvcache-ai/ktransformers

请求增加对hunyuan image3.0 moe 80b a13b的支持

Lagrebanana opened this issue · comments

检查清单

  • 1. 如果您提出的不是新功能而是问题,请在讨论区发起讨论 https://github.com/kvcache-ai/ktransformers/discussions。否则该 issue 将被关闭
  • 2. 为方便社区交流,我将使用中文/英文或附上英文/中文翻译(如使用其他语言)。未附带翻译的非英文/中文内容可能会被关闭

需求背景

请问能够添加hunyuan3.0 image 80b a13b的支持吗?我在他们那里询问了,他们对这个有兴趣。希望能在16gb显存内的显卡利用KTransfomer跑上这个

相关资源

No response

同求