Giters

dataelement / bisheng

Bisheng is an open LLM devops platform for next generation AI applications.

Home Page:https://bisheng.dataelem.com/

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

功能咨询

IamWWT opened this issue · comments

commented

使用方式：进入docker目录，不部署docker-compose-model.yml中的三个gpu相关模型服务。用chatglm3项目中的openai api模拟llm和embedding的api接口。

1、此时，没有rt服务下，是否不能使用菜单栏左侧的知识服务？因为新建知识并上传xx.md、xx.pdf、xx.docx文件后，都一直解析失败。

2、如果不用知识模块，技能模块中，可以通过流程组件是否支持将文本通过对话框上传到向量库进行向量存储等操作设计吗。

3、没有部署rt服务下，此时系统->系统配置中的内容如下，请问1）es我看是没有密码的，ssl_verify那里的配置需要额外改动吗。2）embedding部分使用第一个bge-large-zh-1.5的配置正确吗，会生效吗。

knowledges:
  unstructured_api_url: ""  # 毕昇非结构化数据解析服务地址，提供包括OCR文字识别、表格识别、版式分析等能力。非必填，溯源必填
  embeddings: # 配置知识库的embedding服务，以下示例填写了两类embedding服务的配置方法，第一个是openai的embedding模型服务的配置方法，第二个是本地部署的embedding模型服务的配置方法，如果有多个可以添加多个
    bge-large-zh-1.5: # 知识库下拉框中显示的embedding模型的名称，可自定义
      openai_api_base: "http://127.0.0.1:8000/v1/"
      openai_proxy: "" # 如果是自己代理的服务地址，则填在这里
      openai_api_key: "EMPTY" # 私有的，openai账号的key
      # deployment: ""  # azure 部署需要
      # openai_api_type: ""    # azure api_type
      # openai_api_version: ""  # azure api_version
    embedding-host: # 知识库下拉框中显示的embedding模型的名称，可自定义
      host_base_url: "http://127.0.0.1:8000/v1/" # 在模型管理页面中已上线的embedding服务的地址
      model: "bge-large-zh-1.5" # 在模型管理页面中已上线的embedding模型的名称
  vectorstores:
    # Milvus 最低要求cpu 4C 8G 推荐4C 16G
    Milvus: # 如果需要切换其他vectordb，确保其他服务已经启动，然后配置对应参数
      # connection_args: {'host': 'milvus', 'port': '19530', 'user': '', 'password': '', 'secure': False}
      connection_args: {'host': 'milvus', 'port': '19530', 'user': 'minioadmin', 'password': 'minioadmin', 'secure': False}
      #connection_args: {'host': '192.168.0.108', 'port': '19530', 'user': 'minioadmin', 'password': 'minioadmin', 'secure': False}
      # partiton-key model, 用于分区的字段，如果不配置默认True， 分区后，新的partiton不会新建collection，可以通过增加suffix强制增加collection
      is_partition: False
      partition_suffix: 1
    # 可选配置，有些类型的场景使用ES可以提高召回效果
    ElasticKeywordsSearch:
      elasticsearch_url: 'http://192.168.0.108:9200'
      # ssl_verify: "{'basic_auth': ('elastic', 'password')}"
      # ssl_verify: "{'ca_certs': False, 'basic_auth': ('elastic', 'F94h5JtdQn6EQB-G9Hjv'), 'verify_certs': False}"
      ssl_verify: "{'ca_certs': False, 'basic_auth': ('elastic', 'F94h5JtdQn6EQB-G9Hjv'), 'verify_certs': False}"
  minio: # 如果要支持溯源功能，由于溯源会展示源文件，必须配置 oss 存储
     SCHEMA: false         # 是否支持 https
     CERT_CHECK: false         # 是否校验 http证书
     MINIO_ENDPOINT: "minio:9000"       # 这个地址用来写请求
     MINIO_SHAREPOIN: "minio:9000"      # 为保证外网和内网隔离。 浏览器获取连接是这个域名
     MINIO_ACCESS_KEY: "minioadmin"
     MINIO_SECRET_KEY: "minioadmin"
  #

default_llm:
  # 全局配置大模型    
  model: "chatglm3-6b" # 在模型管理页面中已上线的大模型服务的名称
  host_base_url: "http://127.0.0.1:8000/v1/" # 在模型管理页面中已上线的大模型服务的地址

llm_request:
  # 模型访问的超时配置
  request_timeout: 600
  max_retries: 1
  stream: true


# 是否需要验证码
use_captcha:
  True

# 聊天对话框配置
dialog_tips:
  "内容由AI生成，仅供参考！"

env:
  # 聊天窗口支持快捷搜索的搜索引擎
  # dialog_quick_search: http://www.baidu.com/s?wd=
  # 可配置与http不一致的websocket地址
  # websocket_url: 192.168.106.120:3003
  office_url: http://192.168.0.108:8701 # office 组件访问地址，需要浏览器能直接访问
commented
  1. 没有rt，知识无法使用，从你的配置来看，大概率是因为我们的embedding-host配置问题。127.0.0.1表示的容器内，无法访问， 再有base_url 需要有一定的规则才能使用。如果升级2.3.2 可以增加配置 component: custom 可以使用完整的url
  2. 可以
  3. es 是否支持ssl，是否需要密码和es服务启动相关。按照默认配置，是不需要的
  4. 配置错误