VRMにしゃべってもらうことを体験するサンプルリポジトリです。
VRMVoicerWithChatGPT.mp4
- Unityを実行すると、音声入力待ちの状態になります。（上記動画では"塩の作り方を教えてください"といった後です）
- 音声入力が完了すると、テキストで画面下に表示されます。（上記動画の"塩の作り方を教えてください"の箇所です）
- 2に続いて、ChatGPTへテキストを基にリクエストを出してレスポンスを待ちます。（回答内容によって10秒ほどかかることがあります）
- ChatGPTからレスポンスが返ってくると、その内容をVOICEVOXに連携して音声合成を待ちます。
- 音声合成が完了すると、VRMのBlendshapeとOVRLipSyncを利用してVRMのアバターがしゃべりだしてくれます。（上記動画はこの5からです）
- Windows10（音声入力がWindows前提になっています）
- Unity 2021.2.4f1
- Oculus LipSync v29
- voicevox_engineはこのリポジトリに含まれていません（使い方を参照しくてください）
- 動画の背景は有料Assetなのでこのリポジトリ含まれていません
- OpenAIのAPIKeyを作成して、SampleSceneにいるTesterのInspectorのApi Keyに設定します
- voicevox_engineをdockerで起動します。（※1）
- Unityを実行して、ConsoleにStart speech recognition, waiting for your voice...と出てきていることを確認します
- 話しかけてください！
※1 dockerでなくても大丈夫で、こちらで代替できます。 GUIを起動するだけ内部的にvoicevox_engineが起動されるため、それを利用できます。
- ときどき音声認識がうまく反応しないときがあります。その場合、再実行してみてください。
- vrmをドラッグアンドロップでインポートします。
- 1でインポートしたvrmをHierachyに配置します。
- ドレ（dore）のPositionをコピーして、カメラ位置まで移動させます。
- おそらく後ろを向いているのでY軸で180度回転させます。（doreのrotation参照）
- ドレを削除します。
| Library | License |
|---|---|
| unity-voicevox-bridge | MIT license |
| voicevox_engine | Unknown, LGPL-3.0 licenses found |
| VRMLipSyncContextMorphTarget | Unknown, |
| UniVRM | MIT license |
| UniTask | MIT license |