kaleidoscope分析和连接大型语言模型 （LLM） 的用户工具包

[www.ziwang.com]

https://github.com/VectorInstitute/kaleidoscope

用于分析和连接大型语言模型 （LLM） 的用户工具包

概述
kaleidoscope提供了一些高级 API，即：

model_instances- 显示由模型服务实例化的所有活动 LLM 的列表
load_model- 通过模型服务加载LLM
generate- 根据提示输入返回 LLM 文本生成
module_names- 返回 LLM 神经网络中的所有模块名称
get_activations- 检索一组模块的所有激活
edit_activations- 操作一组模块的激活
kaleidoscope由以下组件组成：

Python SDK - 用于与LLM交互的前端Python库，可在 https://github.com/VectorInstitute/kaleidoscope-sdk 的单独存储库中使用
模型服务 - 将模型加载到 GPU 内存并公开接口以接收请求的后端实用程序
网关服务 - 在前端用户工具和模型服务之间接口的控制器服务
开始