ChatVRMはブラウザで簡単に3Dキャラクターと会話ができるデモアプリケーションです。
VRMファイルをインポートしてキャラクターに合わせた声の調整や、感情表現を含んだ返答文の生成などを行うことができます。
ChatVRMの各機能は主に以下の技術を使用しています。
- ユーザーの音声の認識
- 返答文の生成
- 読み上げ音声の生成
- 3Dキャラクターの表示
GitHub Pagesでデモを公開しています。
https://pixiv.github.io/ChatVRM
ローカル環境で実行する場合はこのリポジトリをクローンするか、ダウンロードしてください。
git clone git@github.com:pixiv/ChatVRM.git必要なパッケージをインストールしてください。
npm installパッケージのインストールが完了した後、以下のコマンドで開発用のWebサーバーを起動します。
npm run dev実行後、以下のURLにアクセスして動作を確認して下さい。
ChatVRMでは返答文の生成にChatGPT APIを使用しています。
ChatGPT APIの仕様や利用規約については以下のリンクや公式サイトをご確認ください。
- https://platform.openai.com/docs/api-reference/chat
- https://openai.com/policies/api-data-usage-policies
ChatVRMでは返答文の音声読み上げにKoeiro APIを使用しています。
Koeiro APIの仕様や利用規約については以下のリンクや公式サイトをご確認ください。