InternLM / InternLM

Official release of InternLM2 7B and 20B base and chat models. 200K context support

Home Page:https://internlm.intern-ai.org.cn/

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

api_server无法添加--session-len参数[Bug]

xxg98 opened this issue · comments

描述该错误

/root/autodl-tmp/projects/LLM/LMDeploy/lmdeploy/lib/python3.10/site-packages/fuzzywuzzy/fuzz.py:11: UserWarning: Using slow pure-python SequenceMatcher. Install python-Levenshtein to remove this warning
warnings.warn('Using slow pure-python SequenceMatcher. Install python-Levenshtein to remove this warning')
usage: lmdeploy [-h] [-v] {chat,lite,serve,convert,list,check_env} ...
lmdeploy: error: unrecognized arguments: --session_len 200000

环境信息

python3.10
cuda11.8

其他信息

No response

lmdeploy cli工具从原来使用fire包,改成使用argument parser。不再是--session_len,而是--session-len。

可以使用 lmdeploy serve api_sever -h 查看命令详情

lmdeploy cli工具从原来使用fire包,改成使用argument parser。不再是--session_len,而是--session-len。

可以使用 lmdeploy serve api_sever -h 查看命令详情
好的,谢谢您