jeffgyf / vits_yunzai_plugin

AI语音本地生成并发送的yunzai插件

vits_yunzai_plugin

介绍

AI语音本地生成原神/崩三语音并发送的yunzai插件

qq群：433567006 （由于崩三模型还在不停炼，懒得每次都上传网盘，将在qq群里更新）

项目生成效果演示：https://www.bilibili.com/video/BV1ke4y1p7qq

安装须知

1. 请确保你的环境存在python3.6+ 原则上vits的环境是python3.6+，插件作者本机使用的是3.7版本，云服务器用的3.8版本
2. 如果不确定是哪个依赖有问题，可以开启机器人，发送指令让它尝试生成，它会抛出错误。
3. 生成语音报错请仔细看抛出的报错信息，并提交issues或者是在群里询问。目前版本尚在测试阶段，擅于面向百度编程.jpg
4. 现已支持显卡推演，速度提高30-50倍，实测单核cpu推演生成189字句子需要6min，RTX2060显卡只需要3-5秒即可生成。开启gpu推演需要你有显卡和正确安装对应版本cuda，输入开启gpu/关闭gpu。
5. 测试目前安装情况，需要查漏补缺，在yunzai根目录下运行

   python ./plugins/vits-yunzai-Plugin/vits/run_new.py --character=0 --text=你好啊，做一个测试。
   

   它会告诉你现在哪个包缺失。然后根据报错去常见问题查看解决方案。也可以自行进行判断，输入 pip list 查看当前环境依赖安装情况。

windows视频教程

https://www.bilibili.com/video/BV1ot4y1P7a7

支持所有windows，10分钟开箱即装。从零开始手把手教你安装

安装教程

1. yunzai根目录下输入

   git clone https://gitee.com/sumght/vits_yunzai_plugin.git ./plugins/vits-yunzai-Plugin/
   

2. 将ys.pth权重文件放入本目录文件夹下vits/ys/目录下 下载地址:

   https://pan.baidu.com/s/1Q4ujpNn56ZI_Caort5aIeg?pwd=rr4j
   

   将bh3.pth权重文件放入本目录文件夹下vits_bh3/bh3/目录下

   https://pan.baidu.com/s/1_fC21h229_Z-tirp_9C7xQ?pwd=2pv3
   

3. 文件夹cd至本插件目录文件夹下 /vits，执行

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   安装环境，在安装过程中如果报错，根据常见问题和issues解决问题后，重复执行步骤3，直到环境完全安装完毕。

使用说明

1. 输入音色列表即可查看可输出角色

2. 输入xxx说xxxx即可生成对应语句

   原神音色，支持别称:

   派蒙,凯亚,安柏,丽莎,琴,香菱,枫原万叶,迪卢克,温迪,可莉,早柚,托马,芭芭拉,优菈,云堇,钟离,魈,凝光,雷电将军,北斗,甘雨,七七,刻晴,神里绫华,戴因斯雷布,雷泽,神里绫人,罗 莎莉亚,阿贝多,八重神子,宵宫,荒泷一斗,九条裟罗,夜兰,珊瑚宫心海,五郎,散兵,女士,达达利亚,莫娜,班尼特,申鹤,行秋,烟绯,久岐忍,辛焱,砂糖,胡桃,重云,菲谢尔,诺艾尔,迪奥娜,鹿 野院平藏

   崩坏三音色,不支持别称：

   丽塔,伊甸,八重樱,卡莲,卡萝尔,姬子,布洛妮娅,希儿,帕朵菲莉丝,幽兰黛尔,德丽莎,格蕾修,梅比乌斯,渡鸦,爱莉希雅,琪亚娜,符华,维尔薇,芽衣,阿波尼亚,空律,识律

   柚子社音色:（接口实现）

   绫地宁宁,因幡巡,朝武芳乃,常陆茉子,丛雨,鞍马小春,在原七海

   其他音色:（接口实现）

   星爷,鬼,葛优,四川话,粤语,loli,东北话,然然

   格式: 音色+说+要说的话

常见问题

1. ModuleNotFoundError: No module named 'monotonic_align.monotonic_align.core' 解决方法：在vits和vits_bh3两个目录下，分别都执行，

   cd monotonic_align
   

   python setup.py build_ext --inplace
   

   等待生成核心即可

2. ERROR: No matching distribution found for torch==1.6.0
   解决方法：如果有conda

   conda install pytorch==1.6.0 torchvision==0.7.0 cpuonly -c pytorch
   

   如果没有conda，就用pip

   pip install torch==1.6.0+cpu torchvision==0.7.0+cpu -f https://download.pytorch.org/whl/torch_stable.html
   

   具体原因是这个1.6.0的torch版本比较老了，需要去pytorch历史里翻出来下载。 确定安装好后，去requirements.txt删去

   torch==1.6.0
   torchvision==0.7.0
   

   后继续安装环境。

pyopenjtalk安装（依然是常见问题里的，常见问题不止上面三个，接着往下看）

极为重要，百分之90的人都是这儿卡壳，仔细查看

3. window用户安装pyopenjtalk win用户解决方法查看https://www.bilibili.com/video/BV13t4y1V7DV

   现在更新也更简单的方法，请查看https://gitee.com/sumght/vits_yunzai_plugin/issues/I6088Z 直接下载编译好的文件开箱即用

4. linux用户安装pyopenjtalk (感谢@xi-yun提供)

   环境Ubuntu20.04，python3.8.10 安装步骤：

   1.安装cmake

   apt install cmake
   

   2.安装依赖库

   sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev
   

   参考文章

   3.升级pip

   python -m pip install --upgrade pip
   

   4.安装pyopenjtalk

   pip install pyopenjtalk==0.2.0
   

5. 更多pyopenjtalk问题

   参考原地址https://pypi.org/project/pyopenjtalk/

6. 出现

   OSError: cannot load library 'libsndfile.so': libsndfile.so: cannot open shared object file: No such file or directory
   

   等一系列关于libsndfile的问题 解决方法：https://www.jianshu.com/p/cc1a10a79cfa

   缺少libsndfile，查看 SoundFile官网，发现需要安装libsndfile

7. 如果出现没报错或者是显示着成功但是不生成的情况，去yunzai根目录运行指令

   python ./plugins/vits-yunzai-Plugin/vits/run_new.py --character=0 --text=你好啊，做一个测试。
   

   看看那儿有没有报错，yunzai根目录有没有生成example.wav

8. 安装过霄鸟插件的，因为霄鸟有个自己的虚拟环境，导致你安装了包，但是依然会报没安装环境的错误。需要自己找到你环境安装好了的这个python位置，去手动添加全局变量path， 不然怎么装都是报没有装环境。

其他

gitee地址 预计下次更新会加入崩坏三人物语音生成，新的模型正在加紧炼制。

安装查询

####（上述安装过程差啥东西，自行在这儿查询，比如你发现你python版本不对又不会安装，那么就来这儿查看）

python环境

• 1.安装

  • win用户

    windows不管之前装没装过，再下一次python3.7就行了，我放个python3.7.3的链接

    https://wwp.lanzoub.com/ioagG0a3xufc 密码:atri

    Add python 3.7 to PATH的√一定要勾上

    如果是云服务器请需要再安装一个部件https://aka.ms/vs/16/release/vc_redist.x64.exe

  • centos用户

    python版本切换到3.7后，需要将yum使用的python再次连接到python2.7

    方法：去/usr/bin/yum和/usr/libexec/urlgrabber-ext-down把第一行的python改成python2或者python2.7

    然后安装一个包

    yum install libsndfile
    

• 2.检查python版本！！！！！！(非常重要)

  输入python -V和pip -V

  输出应该是Python 3.7.3和xxxxx (python 3.7)

• 3.升级pip

  python -m pip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple/
  

ffmpeg配置

• Windows用户点我下载ffmpeg解压之后放在一个之后不会移动的目录下(路径中无中文无空格)

  windows2012请下载：https://pan.baidu.com/s/1VeCe-1z9kKHhH9KD0QRHYA?pwd=atri 提取码：atri

• 去Yunzai-Bot\config\config\bot.yaml里面填写路径

示例：(请复制自己的路径进行配置)冒号后面有一个空格！！！！！

# ffmpeg
ffmpeg_path: D:\software\ffmpeg\bin\ffmpeg.exe
ffprobe_path: D:\software\ffmpeg\bin\ffprobe.exe

配置过环境变量的win用户建议填写和环境变量路径一样的路径

linux用户推荐原码编译后输入whereis ffmpeg和whereis ffprobe找到ffmpeg的位置