dataelement / bisheng

Bisheng is an open LLM devops platform for next generation AI applications.

Home Page:https://bisheng.dataelem.com/

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

rt 模型无法下线

yz00000000 opened this issue · comments

基本信息:
组件版本:bisheng 0.2.2.5、rt 0.0.6.3
模型:Yi-6B
技能:PythonREPLTOOL + ZerpShotAgent + HostYiChat

对话过程中,陷入 循环,无超时等配置无法终止,GPU一直在计算
点击-模型-下线,状态一直是“下线中”,30分钟后下线成功。

期望:
1、rt模型,增加单次计算最长时间参数配置
2、模型-下线时,增加强行终止模型进程的逻辑或设定。

模型下线缓慢,内部没有复现,如果迟迟没有显示下线,可以尝试一下刷新页面。