SMZCC / AI-YinMei

AI吟美零式

AI-YinMei

• AI 虚拟主播 Vtuber 研发(N 卡版本)
• AI 名称：吟美
• 开发者：Winlone
• B 站频道：程序猿的退休生活
• Q 群：27831318
• 版本：1.0
• 详细笔记：https://note.youdao.com/s/1k0x7BLt

介绍

• 支持本地 LLM 模型 chatglm-6b 的 1 代~3 代的 AI 自然语言回复

• 支持对接 bilibili 直播间弹幕回复和进入直播间欢迎语

• 支持微软 edge-tts 语音合成

• 支持聊天记忆模式和扮演卡,可以多角色切换

• 支持 AI 训练

• 支持 Vtuber 表情控制

• 支持 stable-diffusion-webui 绘画输出 OBS 直播间

运行环境

• Python 3.11

调用类库

• 对应重要的 py 包
  torch：2.1.0+cu121
  peft：0.6.2
  bilibili-api-python：16.1.1
  edge-tts：6.1.9
  pynput：1.7.6
  APScheduler：3.10.4
  transformers：4.35.2
  

启动方式

1、(必选)启动应用层，在根目录

#进入虚拟环境
& 盘符:路径/pylib/aivenv/Scripts/Activate.ps1
#安装py包
pip install -r requirements.txt
#选择一、启动对接b站直播程序(选0.此程序会对接后端text-generation-webui接口，选1.当前加载LLM本地模型)
python bilibili-live-api.py
#选择二、启动对接b站直播程序(此程序直接在当前代码加载chatglm大语言模型+训练checkpoint)
(已废弃，已经集成到bilibili-live-api.py)
python bilibili-live-local.py

2、(可选)启动 LLM 模型，进入 text-generation-webui

#进入虚拟环境
& 盘符:路径/pylib/aivenv/Scripts/Activate.ps1
#安装py包
pip install -r requirements.txt
#启动text-generation-webui程序，start.bat是我自定义的window启动脚本
./start.bat

3、(必选)皮肤启动，安装 steam，安装 VTube Studio
这个自行下载 steam 平台，在平台里面有一个 VTube Studio 软件，它就是启动 live2D 的虚拟主播皮肤

4、(必选)其他
安装虚拟声卡：虚拟声卡驱动（Virtual Audio Cable）4.66 官方版

此外，需要在 text-generation-webui/models 路径放入 LLM 模型，我这里放的是 chatgml2 的模型，大家可以任意选择底层 LLM 模型，例如，千问、百川、chatglm、llama 等
更多详细技术细节，请看技术文档：https://note.youdao.com/s/1k0x7BLt

目录说明

• text-generation-webui【第三方工具】：
  LLM 聚合接口，可以放置 chatglm 等大语言模型，然后进行参数配置后，再输入角色卡进行角色扮演聊天
  https://github.com/oobabooga/text-generation-webui
  
• LLaMA-Factory【AI 训练】：
  AI 聚合训练工具，可以界面化配置训练参数，可视化 ai 训练，相当强大
  https://github.com/hiyouga/LLaMA-Factory
  
• ChatGLM、ChatGLM2、ChatGLM3【语言模型】：
  放置的是清华大学研发的自然语言模型，可以自行添加如：百川、千问、LLAMA 等其他大语言模型
  
• SillyTavern【第三方工具】：
  酒馆，强大的 AI 角色扮演，但是该项目没有公开接口调用，而且 TTS 语言合成很缓慢，暂未集成使用
  https://github.com/SillyTavern/SillyTavern
  
• output【输出路径】：
  输出的文本 txt、语音 mp3 文件都在这里
  
• ChatGLM2\ptuning【AI 训练】：
  ChatGLM 官方训练例子
  
• ChatGLM2\ptuning\zero_nlp【AI 训练】：
  ai 的 lora 训练模式

特别鸣谢

• LLM 模型：ChatGLM
  https://github.com/THUDM/ChatGLM2-6B
  
• 聚合 LLM 调用模型：text-generation-webui
  https://github.com/oobabooga/text-generation-webui
  
• AI 虚拟主播模型：B 站的·领航员未鸟·
  https://github.com/AliceNavigator/AI-Vtuber-chatglm
  
• AI 训练模型：LLaMA-Factory
  https://github.com/hiyouga/LLaMA-Factory
  
• MPV 播放器：MPV
  https://github.com/mpv-player/mpv
  
• 其他：
  Lora 训练：https://github.com/yuanzhoulvpi2017/zero_nlp
  ChatGLM 训练：https://github.com/hiyouga/ChatGLM-Efficient-Tuning
  SillyTavern 酒馆：https://github.com/SillyTavern/SillyTavern
  LoRA 中文训练：https://github.com/super-wuliao/LoRA-ChatGLM-Chinese-Alpaca
  数据集-训练语料：https://github.com/codemayq/chinese-chatbot-corpus
  

更多关注

• 讨论 Q 群：27831318