VC Client

What's New!

v.1.5.1.15b
- RVC(Retrieval-based-Voice-Conversion)の軽量化を行いました。精度や応答速度をわずかに落とすことでより低スペックな PC での稼働も可能になりました。
v.1.5.1.15a
- RVC(Retrieval-based-Voice-Conversion)に対応しました。
  
  hubert のモデルが必要になります。このリポジトリからhubert_base.ptをダウンロードして、バッチファイルがあるフォルダに格納してください。

VC Client とは

VC ClientはMMVC, so-vits-svc, RVC(Retrieval-based-Voice-Conversion)などの AI を使ったリアルタイムボイスチェンジャーのクライアントソフトウェアです。また、リアルタイムボイスチェンジャーで必要となるトレーニング用の音声の録音(MMVC 向け)アプリも提供しています。

解説動画

MMVC のトレーニングについては公式ノートブックをご利用ください。
so-vits-svc のトレーニングについては公式ノートブックをご利用ください。

特徴

複数のプラットフォームで動作 Windows, Mac(M1 等 Apple silicon), Linux, Google Colaboratory での動作をサポートしています。
音声録音用アプリのインストールが不要音声録音を Github Pages にホストしてあるアプリケーション上で実行可能です。全てブラウザ上で動くため、特別なアプリケーションのインストールは不要です。また、完全にブラウザアプリケーションとして動くのでデータがサーバに送信されることもありません。
ボイチェンを別の PC 上で実行して負荷を分散本アプリケーションのリアルタイムボイスチェンジャーは、サーバ・クライアント構成で動きます。MMVC のサーバを別の PC 上で動かすことで、ゲーム実況など他の負荷の高い処理への影響を抑えながら動かすことができます。

使用方法

詳細はこちらに纏まっています。

(1) レコーダー（トレーニング用音声録音アプリ）

MMVC トレーニング用の音声を簡単に録音できるアプリです。 Github Pages 上で実行できるため、ブラウザのみあれば様々なプラットフォームからご利用可能です。録音したデータは、ブラウザ上に保存されます。外部に漏れることはありません。

録音アプリ on Github Pages

解説動画

(2) プレイヤー（ボイスチェンジャーアプリ）

MMVC や so-vits-svc でボイチェンを行うためのアプリです。

大きく 3 つの方法でご利用できます。難易度順に次の通りです。

Google Colaboratory での利用(MMVC のみ)
事前ビルド済みの Binary での利用
Docker や Anaconda など環境構築を行った上での利用

本ソフトウェアや MMVC になじみの薄い方は上から徐々に慣れていくとよいと思います。

(2-1) Google Colaboratory での利用(MMVC のみ)

Google が提供している機械学習プラットフォーム Colaboratory 上で実行できます。 MMVC のモデルをトレーニングが完了している場合、既に Colaboratory を利用していると思いますので、事前準備は必要ありません。ただし、ネットワーク環境や Colaboratory の状況によってボイスチェンジャのタイムラグが大きくなる傾向があります。

超簡単バージョン: 事前設定なしで Colab から実行できます。
普通バージョン: Google Drive と連携してモデルを読み込むことができます。

解説動画

(2-2) 事前ビルド済みの Binary での利用

実行形式のバイナリをダウンロードして実行することができます。 Windows 版と Mac 版を提供しています。

Mac 版はダウンロードファイルを解凍したのちに、使用する VC に応じたstartHttp_xxx.commandをダブルクリックしてください。開発元を検証できない旨が示される場合は、再度コントロールキーを押してクリックして実行してください(or 右クリックから実行してください)。（詳細下記 *1）
Windows 版は、ONNX(cpu,cuda),PyTorch(cpu)版と ONNX(cpu,cuda), PyTorch(cpu,cuda)版とONNX(cpu,DirectML), PyTorch(cpu)版を提供しています。環境に応じた zip ファイルをダウンロードしてください。ダウンロードした zip ファイルを解凍して、使用する VC に応じた VC に応じたstart_http_xxx.batを実行してください。
各種startHttp_xxx.commandファイル(mac)、start_http_xxx.batファイル(win)で起動できるボイスチェンジャは次の通りです。

#	バッチファイル(mac の場合は`.bat`を`.command`に読み替え)	説明
1	start_http_v13.bat	MMVC v.1.3.x 系のモデルが使用できます。
2	start_http_v15.bat	MMVC v.1.5.x 系のモデルが使用できます。
3	start_http_so-vits-svc_40.bat	so-vits-svc 4.0 系のモデルが使用できます。
4	start_http_so-vits-svc_40v2.bat	so-vits-svc 4.0v2 系のモデルが使用できます。
5	start_http_so-vits-svc_40v2_tsukuyomi.bat	つくよみちゃんのモデルを使用します。(変更不可)
6	start_http_so-vits-svc_40v2_amitaro.bat	あみたろのモデルを使用します。(変更不可)
7	start_http_RVC.bat	RVC のモデルが使用できます。

リモートから接続する場合は、各種.commandファイル(mac)、.batファイル(win)の http が https に置き換わっているものを使用してください。
Windows 環境で Nvidia の GPU をお持ちの方は多くの場合は ONNX(cpu,cuda),PyTorch(cpu)版で動きます。環境によって極まれに gpu が認識されない場合があります。その場合は ONNX(cpu,cuda), PyTorch(cpu,cuda)版の方をご利用ください。（サイズが大きく違います。）
Windows 環境で Nvidia の GPU をお持ちでない方は多くの場合は ONNX(cpu,DirectML), PyTorch(cpu) 版で動きます。
Windows 環境で so-vits-svc 4.0/so-vits-svc 4.0v2 をお使いの場合はONNX(cpu,cuda), PyTorch(cpu,cuda)版をご利用ください。
so-vits-svc 4.0/so-vits-svc 4.0v2 やつくよみちゃんの動作には content vec のモデルが必要となります。こちらのリポジトリから、ContentVec_legacy 500 のモデルをダウンロードして、実行するstartHttp_xxx.commandやstart_http_xxx.batと同じフォルダに配置してください。
RVC(Retrieval-based-Voice-Conversion)の動作には hubert のモデルが必要になります。このリポジトリからhubert_base.ptをダウンロードして、バッチファイルがあるフォルダに格納してください。

Version	OS	フレームワーク	link	サポート VC	サイズ
v.1.5.1.15b	win	ONNX(cpu,cuda), PyTorch(cpu)	通常	MMVC v.1.5.x, MMVC v.1.3.x, RVC	773MB
	win	ONNX(cpu,cuda), PyTorch(cpu,cuda)	通常	MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, so-vits-svc 4.0v2, RVC	2794MB
	win	ONNX(cpu,DirectML), PyTorch(cpu)	通常	MMVC v.1.5.x, MMVC v.1.3.x, RVC	488MB
	win	ONNX(cpu,DirectML), PyTorch(cpu,cuda)	通常	MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, so-vits-svc 4.0v2, RVC	2665MB
	mac	ONNX(cpu), PyTorch(cpu)	normal	MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, so-vits-svc 4.0v2, RVC	615MB

Version	OS	フレームワーク	link	サポート VC	サイズ
v.1.5.1.15a	win	ONNX(cpu,cuda), PyTorch(cpu,cuda)	通常	MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, so-vits-svc 4.0v2, RVC	2641MB

Version	OS	フレームワーク	link	サポート VC	サイズ
v.1.5.1.14	mac	ONNX(cpu), PyTorch(cpu)	通常	MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, so-vits-svc 4.0v2	581MB
	mac	-	つくよみちゃん	-	874MB
	mac	-	黄琴まひろ	-	872MB
	mac	-	あみたろ	-	872MB
	mac	-	黄琴海月	-	873MB
	win	ONNX(cpu,cuda), PyTorch(cpu)	通常	MMVC v.1.5.x, MMVC v.1.3.x	530MB
	win	ONNX(cpu,cuda), PyTorch(cpu,cuda)	通常	MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, so-vits-svc 4.0v2	2624MB
	win	ONNX(cpu,DirectML), PyTorch(cpu)	通常	MMVC v.1.5.x, MMVC v.1.3.x	417MB
	win	ONNX(cpu,DirectML), PyTorch(cpu,cuda)	通常	MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, so-vits-svc 4.0v2	2509MB
	win	-	つくよみちゃん	-	823MB
	win	-	黄琴まひろ	-	821MB
	win	-	黄琴海月	-	823MB
	win	-	あみたろ	-	821MB

*1 MMVC v.1.5.x は Experimental です。

*2 つくよみちゃんはフリー素材キャラクター「つくよみちゃん」が無料公開している音声データを使用しています。（利用規約など、詳細は文末）

*3 解凍や起動が遅い場合、ウィルス対策ソフトのチェックが走っている可能性があります。ファイルやフォルダを対象外にして実行してみてください。（自己責任です）

*4 本ソフトウェアは開発元の署名しておりません。下記のように警告が出ますが、コントロールキーを押しながらアイコンをクリックすると実行できるようになります。これは Apple のセキュリティポリシーによるものです。実行は自己責任となります。

m1_mac.mp4

(2-3) Docker や Anaconda など環境構築を行った上での利用

本リポジトリをクローンして利用します。Windows では WSL2 の環境構築が必須になります。また、WSL2 上で Docker もしくは Anaconda などの仮想環境の構築が必要となります。Mac では Anaconda などの Python の仮想環境の構築が必要となります。事前準備が必要となりますが、多くの環境においてこの方法が一番高速で動きます。 GPU が無くてもそこそこ新しい CPU であれば十分動く可能性があります（下記のリアルタイム性の節を参照）。

WSL2 と Docker のインストールの解説動画

WSL2 と Anaconda のインストールの解説動画

リアルタイム性

GPU を使用するとほとんどタイムラグなく変換可能です。

https://twitter.com/DannadoriYellow/status/1613483372579545088?s=20&t=7CLD79h1F3dfKiTb7M8RUQ

CPU でも最近のであればそれなりの速度で変換可能。

https://twitter.com/DannadoriYellow/status/1613553862773997569?s=20&t=7CLD79h1F3dfKiTb7M8RUQ

古い CPU( i7-4770)だと、1000msec くらいかかってしまう。

Acknowledgments

  本ソフトウェアの音声合成には、フリー素材キャラクター「つくよみちゃん」が無料公開している音声データを使用しています。
  ■つくよみちゃんコーパス（CV.夢前黎）
  https://tyc.rei-yumesaki.net/material/corpus/
  © Rei Yumesaki

利用規約

リアルタイムボイスチェンジャーつくよみちゃんについては、つくよみちゃんコーパスの利用規約に準じ、次の目的で変換後の音声を使用することを禁止します。


■人を批判・攻撃すること。（「批判・攻撃」の定義は、つくよみちゃんキャラクターライセンスに準じます）

■特定の政治的立場・宗教・**への賛同または反対を呼びかけること。

■刺激の強い表現をゾーニングなしで公開すること。

■他者に対して二次利用（素材としての利用）を許可する形で公開すること。
※鑑賞用の作品として配布・販売していただくことは問題ございません。

リアルタイムボイスチェンジャーあみたろについては、あみたろの声素材工房様の次の利用規約に準じます。詳細はこちらです。

あみたろの声素材やコーパス読み上げ音声を使って音声モデルを作ったり、ボイスチェンジャーや声質変換などを使用して、自分の声をあみたろの声に変換して使うのもOKです。

ただしその場合は絶対に、あみたろ（もしくは小春音アミ）の声に声質変換していることを明記し、あみたろ（および小春音アミ）が話しているわけではないことが誰でもわかるようにしてください。
また、あみたろの声で話す内容は声素材の利用規約の範囲内のみとし、センシティブな発言などはしないでください。

リアルタイムボイスチェンジャー黄琴まひろについては、れぷりかどーるの利用規約に準じます。詳細はこちらです。

免責事項

本ソフトウェアの使用または使用不能により生じたいかなる直接損害・間接損害・波及的損害・結果的損害または特別損害についても、一切責任を負いません。

frodo821 / voice-changer

VC Client

What's New!

VC Client とは

特徴

使用方法

(1) レコーダー（トレーニング用音声録音アプリ）

(2) プレイヤー（ボイスチェンジャーアプリ）

(2-1) Google Colaboratory での利用(MMVC のみ)

(2-2) 事前ビルド済みの Binary での利用

(2-3) Docker や Anaconda など環境構築を行った上での利用

リアルタイム性

Acknowledgments

利用規約

免責事項

About

Languages