💡 [REQUEST] - <title> 请问何时能支持vllm部署呢
su-zelong opened this issue · comments
起始日期 | Start Date
No response
实现PR | Implementation PR
No response
相关Issues | Reference Issues
No response
摘要 | Summary
vllm-0.3.0起服务失败
基本示例 | Basic Example
not support yet?
缺陷 | Drawbacks
无法通过api调用测试
未解决问题 | Unresolved questions
No response
Hi, LMDeploy 目前可以部署Qwen/Qwen-VL-Chat，并支持openai形式的用法。欢迎使用并提供意见
这里是相关文档。
https://github.com/InternLM/lmdeploy/blob/main/docs/zh_cn/serving/api_server_vl.md
https://github.com/InternLM/lmdeploy/blob/main/docs/zh_cn/inference/vl_pipeline.md
Hi, LMDeploy 目前可以部署Qwen/Qwen-VL-Chat，并支持openai形式的用法。欢迎使用并提供意见
这里是相关文档。 https://github.com/InternLM/lmdeploy/blob/main/docs/zh_cn/serving/api_server_vl.md https://github.com/InternLM/lmdeploy/blob/main/docs/zh_cn/inference/vl_pipeline.md
请问LMDeploy部署的话，可以支持kv-cache加速吗
请问LMDeploy部署的话，可以支持kv-cache加速吗
支持的，也可以用 LMDeploy 的工具进行awq 量化，其他的量化格式正在支持中。