Zoom Meeting Plus
Zoom Meeting Plusは、お好みのキャラクターでZoomミーティングを簡単に行えるアプリケーションです。
現在は、ずんだもんがサポートされています。
上の絵、こちらの絵はAIに書いてもらったZoomを使うずんだもん(=ずむだもん)です。
デモ
リアルタイムボイスチェンジャ(MMVC)
Receiver2_g_blur.mp4
Text-to-Speech(Voicevox)
demo_movie_voicevox.mp4
使用方法
前提
- Docker
前作業
こちらの記事を参考にZoomのSDK KeyとSDK Secretを取得してください。
音声サーバの起動
本アプリは二つの音声サーバをサポートします。
- VC Trainer & Player for MMVC
- Voicevox
VC Trainer & Player for MMVCの起動方法
VC Trainer & PlayerはAIを用いたリアルタイムボイスチェンジャーMMVCのヘルパーアプリケーションです。次のコマンドでサーバとして起動させることができます。ポート番号は18888の部分を変えることで変更できます。(2か所は連動して同じ値にすること)
$ git clone --depth 1 https://github.com/w-okada/voice-changer.git -b z001_qiita_advent_calendar_2022_zoom
$ cd voice-changer
$ bash start2.sh MMVC
GPUが無い環境で起動させる場合は、最後の行を次のように置き換えてください。
$ USE_GPU=off bash start2.sh MMVC
Voicevox起動方法
公式の標準の起動方法ではgithub pagesからのアクセスができません。--cors_policy_mode all
をつけて起動するようにします。どのサーバのウェブページであってもローカルのVoicevoxにアクセスするような処理を記述するとアクセスできるようになります。これは悪意のあるサーバのページでも同じです。不要な時にはコンテナをシャットダウンするなど、対策を行うことをお勧めします。
$ docker run --rm --gpus all --entrypoint="" -p 50021:50021 voicevox/voicevox_engine:nvidia-ubuntu20.04-latest gosu user /opt/python/bin/python3 ./run.py --use_gpu --voicelib_dir /opt/voicevox_core/ --runtime_dir /opt/onnxruntime/lib --host 0.0.0.0 --cors_policy_mode all
GPUが無い環境で起動させる場合は、次のコマンドで実行してください。
$ docker run --rm -it --entrypoint="" -p '50021:50021' voicevox/voicevox_engine:cpu-ubuntu20.04-latest gosu user /opt/python/bin/python3 ./run.py --voicelib_dir /opt/voicevox_core/ --runtime_dir /opt/onnxruntime/lib --host 0.0.0.0 --cors_policy_mode all
アプリケーションの起動と操作方法
次のページにアクセスしてください。
下の画面が出てきたらClick to startを押してください。
下の画面に遷移したら「会議室でのユーザ名」「ミーティング番号」「ミーティングのパスワード」「SDK Key(前述したもの)」「SDK Secret(前述したもの)」を入力してEnterを押してください。
下の画面が出たらjoinボタンを押してください。Zoom会議に参加できます。
画面右側のパネルでは各種操作が可能になっています。
下の部分では、Zoomミーティングに送信される画面が表示されています。画像下のボタンでアバターの動作を変えることができます。また、音声を発しているときには自動的にtalkin状態になります。
下の図ではVC Trainer And Player for MMVCの各種制御が行えます。
下の部分ではVoicevoxの各種制御が行えます。またGoogle Speechによる音声認識+Voicevoxでの音声発話も可能です。
操作動画
operation1_blur3.mp4
謝辞
古い記事
Zoom Meeting Plus
You can join the zoom meeting with avatar as you like.
Documentation
Documentation is published as blog. Please see them.
English
- Time keeper bot with Zoom Meeting SDK
- Talking avatar with Zoom Meeting SDK
- Motion tracking avatar with Zoom Meeting SDK
- Voice changer with Zoom Meeting SDK
- Use avatar you like in Zoom !
Japanese
- Zoom Meeting SDKでタイムキーパーちゃんを作る。
- Zoom Meeting SDKでアバターにいろいろしゃべらせる。
- Zoom Meeting SDKをつかって会議にアバターで参加する
- Zoom Meeting SDKでなんちゃってボイスチェンジャー
- Zoom Meetingにアバターで参加するぞ。番外編
- Zoom Meeting SDKとVosk browserでZoom会議のリアルタイム文字起こし
Demo
Docker
$ docker run -p 8888:8888 dannadori/zoom-meeting-plus:v08
$ docker run --rm -it -p '127.0.0.1:50021:50021' voicevox/voicevox_engine:cpu-ubuntu20.04-latest
$ docker run --rm -it -p 5500:5500 synesthesiam/opentts:en
access to http://localhost:8888/
Heroku
https://zoom-meeting-plus.herokuapp.com/