Giters

dataelement / bisheng

Bisheng is an open LLM devops platform for next generation AI applications.

Home Page:https://bisheng.dataelem.com/

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

bisheng会话是否能支持HTTP SSE协议

Lanmon opened this issue · comments

commented

会话的websocket有点笨重，有考虑支持http sse吗

commented

内部有过讨论，是否将ws换成sse。
基于几点考虑：

  1. 当前我们有使用到autogen，这里有human和机器的多轮交互，目前使用上下文控制
  2. SSE 轻量化，涉及到的很多多轮场景都需要改造整体评估不是当前最主要的问题
    Ps. openai 也从sse改为了websocket