susumu ai dialogue system
特徴 •
動作環境 •
実行方法 •
使い方 •
カスタマイズ •
対応モジュール •
Pythonで動かす
susumu_ai_dialogue_system は音声認識や音声合成のモジュールを入れ替えて実行できるAI音声対話/AI VTuberシステムです。各モジュールの切り替えは設定画面でワンクリックで行えます。
AI VTuberを作るために必要ないくつかの機能をプログラミング不要で実現します。YouTubeライブ配信のコメント取得、 OBS
を使った字幕更新をサポート。
Windows 11のみ
Windowsに依存しない形で作っていますが、他の環境では動作確認ができていません。
リリースページにある susumu_ai_dialogue_system_x.x.x.zipをダウンロードします。
ダウンロードしたzipを解凍し、 susumu_ai_dialogue_system.exeを実行します。
OpenAI API Key を取得し、設定画面で設定すれば、まずは最低限の音声対話が動作します。
susumu_ai_dialogue_system.exe を起動すると、設定 ボタンがあるのでクリックします。 OpenAI API Key を入力し、保存して閉じるをクリックすればAPI Keyの設定は完了です。
OpenAI API Key を設定すれば、あとは初期設定で音声対話を試すことができます。起動ボタンを押せば、音声対話が開始します。音声認識結果や ChatGPT
からの応答はコンソール画面に表示されます。
設定画面の 共通設定 タブで、どの音声認識や音声合成を使うか選択できます。使う機能によっては別のタブで設定を行ったり、別のアプリの起動が必要になる事もあります。
susumu_ai_dialogue_system を使えば、プログラミングを行わなくてもAI VTuber(絵や3Dキャラクターを除く)を動かすことができます。
AI VTuberとして動かすためには次のステップを踏むだけ、、、ですが、正直なところ、初めてだと敷居がとても高いです。
Google Cloud PlatformでAPI Keyを発行し、設定画面でYouTubeコメント取得に必要な設定を行うOBS Studioをインストールし、字幕表示に必要な設定を行う- 設定画面の
共通設定タブで、「ベース機能」はAI VTuber、「入力」はYouTubeコメント取得、「その他」はOBS出力をONにする
なお、susumu_ai_dialogue_systemには絵や3Dキャラクターを動かす機能はないため、 VMagicMirrorなどで別のアプリで3Dキャラクターなどを動かす必要があります。
ChatGPT 使用時は、設定画面の AI設定 タブで、プロンプトの内容を変更し、AIの性格や口調を変更できます。
プログラムの挙動も含めてカスタマイズするためには、Pythonを使って susumu_ai_dialogue_systemのソースコードを直接動かす必要があります。
| カテゴリ | モジュール | 条件 |
|---|---|---|
| チャット | ChatGPT | APIキーが必要 |
| 音声認識 | Googleストリーミング音声認識 | GCP認証か、APIキーが必要 |
| 音声認識 | SpeechRecognition(Google) | |
| 音声認識 | 標準入力を使った 擬似的な音声認識モジュール |
|
| 音声認識 | YouTubeコメント取得による 擬似的な音声認識モジュール |
|
| 音声合成 | VOICEVOX | VOICEVOXサーバーまたはアプリの起動が必要 |
| 音声合成 | Google音声合成 | GCP認証か、APIキーが必要 |
| 音声合成 | pyttsx3 | |
| 音声合成 | gTTS | |
| 翻訳 | Googletrans | |
| 翻訳 | DeepL API | API認証キーが必要 |
| オプション | OBS連携 | OBS Studioの起動と設定が必要 |
| オプション | 感情解析 | 感情解析サーバーが必要 |
| オプション | VMagicMirror連携 | 詳細説明 |
PythonやGitの知識があれば、次の方法で動かすことができます。 Pythonの動作確認バージョンは3.10です。
git clone https://github.com/sato-susumu/susumu_ai_dialogue_system.git
cd susumu_ai_dialogue_system
pip install -r requirements.txt
python main.py
Windows環境でビルドするためには、事前にMicrosoft C++ Build Tools のインストールが必要です。