自作の美少女アバターでZoomミーティングやStreamYardの配信に参加する

Blog

はじめに

macOSで自作のアバターを操作し、ZoomやStreamYardの配信に参加するまでの方法を紹介します。
この方法だと、自作アバターに凝らなければ、環境の構築やアプリケーションの設定には30分もかかりません。

この記事で説明しないこと

  • VRoid Studioを使って3Dモデルを作成する操作手順
    作成する手順の詳細は、VRoid Studio ヘルプサイトやほかの紹介ブログを参照してください。
  • アバターの表情や手足の動かし方
    この記事で紹介しているアプリケーションの無償版では、頭と口の動きだけWebカメラに映った人間の動きに追従します。
    より細かく表情を同期させたり手足を動かしたりするには、有償版やLeapMotionの利用が必要です。

自作のアバターでZoomやStreamYardに参加するまでのステップ

自作のアバターでZoomやStreamYardの配信に参加するまでの、おおまかな流れは次のとおりです。
ほかの紹介ブログで説明している方法も、利用するアプリケーションに違いがありますが、基本的な流れは同じです。

  1. 3Dモデルを用意し、VRMファイルを作成する
  2. Webカメラに映った人の動きを作った3Dモデルをアバターとして動かす
  3. 動かしている映像を投影した仮想カメラを作る
  4. ZoomやSteamYardで仮想カメラを使用し、ミーティングや配信に参加する

この記事では、次の図に示す構成で自作のアバターを動かし、ZoomのミーティングやStreamYardの配信に参加します。
図：自作のアバターを動かし、Zoom や StreamYard の配信に参加するまでの流れを示している

使用したアプリケーションは次のとおりです。

  • VRoidStudio：3Dモデルを作成し、VRMファイルをエクスポートする
  • 3tene：3Dモデルのアバターを動かす
  • OBS Studio：アバターが動いている画面を投影し、仮想カメラを作る
  • ZoomまたはStreamYard：仮想カメラを使用して、ミーティングや配信に参加する

動作を確認した環境

  • macOS Monterey v12.6（M1 macでも動作確認済み）
  • VRoid Studio正式版v1.17.1
  • 3tene Free v3.0.6
  • OBS Studio v28.1.2
  • Zoom v5.13.0

STEP1：VRoid Studioを使って、3Dモデルを用意し、VRMファイルを作成する

3Dモデルの作成

通常、3Dモデリングを行なうには、ポリゴンを用意したり動かすための関節（ボーン）を入れたり、モデリングの専門的な知識が必要です。
私は専門知識が皆無なので、オリジナルの3Dキャラクターを作成できるVRoid Studioを使って、3Dモデルを用意します。

VRoid Studioは、男女のそれぞれのモデルをベースに、目や口、髪型などのパーツや体型をカスタマイズして3Dモデルを作成できるアプリケーションです。
スクリーンショット：男女のベースを選択する画面が表示されている

VRoidをはじめよう

配布されているカスタムアイテムの探し方

VRoid Studioで使えるパーツは、目ひとつとってもさまざまなパターンがあり、パーツの位置や角度を自由度高く調整できます。
よりこだわりたい場合はPixiv BOOTHで配布されているパーツを、カスタムアイテムとしてインポートします。
Pixiv Boothで「VRoid」というキーワードを検索すると、さまざまなパーツを見つけることができます。

私は次のパーツをBOOTHで入手し、カスタムアイテムとしてインポートしました。

  • 髪型
  • 髪色（テクスチャ）
  • 目の色やハイライト（テクスチャ）
  • 服（テクスチャ）

カスタムアイテムのインポートには苦戦したので、別の記事でカスタムアイテムを使い方を書きたいです。

VRMファイルのエクスポート

VRoid Studioで、作成したモデルを.vrmという拡張子のファイルでエクスポートします。
このファイルを、アバターを動かすアプリケーション3teneに読み込みます。

  1. 画面右上のエクスポートボタンをクリックします。
  2. 「VRMエクスポート」を選択します。
    スクリーンショット：[VRMエクスポート]が表示されている
  3. エクスポート情報を削減します。 エクスポート情報が多いと、PCのスペックによっては動かすときにカクつく可能性があるためです。
    最適値はわかっていませんが、今回は「ポリゴンの削減」で次の項目を選択しました。 -「髪の断面形状を削減する」 -「透明メッシュを削除する」
  4. [エクスポート]をクリックします。

STEP2：3teneを使って3Dモデルのアバターを動かす

STEP1でエクスポートしたVRMファイルを動かすために、3teneを使います。
3teneはWebカメラに映った人の動きをアバターに反映して動かすことができるアプリケーションです。
この記事では、無償版の3teneを使用します。

3teneのインストール

3teneは、3tene の Web サイトからダウンロードできます。
macの場合は、ダウンロードしたzipを展開し、3teneFREE_beta.appを「アプリケーション」に移動します。

VRMファイルの読み込み

VRoid StudioからエクスポートしたVRMファイルを読み込みます。

  1. 左のメニューバーから、[アバターの選択]をクリックします。
  2. [+]をクリックします。
  3. エクスポートしたVRMファイルを選択します。
    画面にインポートした3Dモデルのアバターが表示されます。
    スクリーンショット：3D モデルのアバターが表示されている

背景画像の変更

背景画像を合成できるよう、背景色をグリーンバックにします。

  1. 左のメニューバーから[背景]をクリックします。
  2. 「背景変更」タブを選択します。
  3. 「色指定」で緑色を選択します。
    背景が緑色になります。

メニューバーの非表示

OBSでは、3teneの画面を投影します。
メニューバーが表示されているとメニューバーごと投影されてしまうため、使わないときは隠すように設定します。

  1. 右のメニューバーから[設定]をクリックします。
  2. 「システム」タブを選択します。
  3. 「メニューバーを自動的に隠す」を選択します。
  4. [設定を保存]をクリックします。

アバターとWebカメラの動きの同期

アバターを操作するWebカメラを選択し、アバターの操作を開始します。

  1. [アバター調整]をクリックします。
  2. 「設定」タブを選択します。
  3. 「Webカメラ」で使用するWebカメラを選択します。
  4. [設定を保存]をクリックします。
  5. [トラッキングのオンオフ]をクリックします。
  6. 「フェイストラッキング」と「リップシンキング」でそれぞれ[開始]をクリックします。
    アバターがWebカメラに映った人の動きに合わせて動き出します。
    動画：アバターが人の動きに合わせて動いている

OBSでは3teneの画面を投影するため、3teneを起動したままにします。

STEP3：OBS Studioで3teneの画面を投影した仮想カメラを作る

OBS Studioのインストール

OBS Studioは、OBS の Web サイトからダウンロードできます。
macの場合は、Homebrewを使ってインストールできます。

$ brew install obs

起動と権限設定

OBS Studioを起動して、必要な権限を設定します。

  1. アプリケーションから「OBS」を選択します。
  2. 初めてを起動する場合は、権限を設定します。
    今回は「画面収録」に対する許可をします。
  3. 「自動構成ウィザード」が表示される場合には、「仮想カメラのみ使用する」を選択して設定を適用します。

3teneの画面の投影

  1. 「ソース」セクションの[+]をクリックします。
  2. 「ウィンドウ投影」を選択します。
  3. 「新規作成」を選択して、適当な名前を入力し[OK]をクリックします。
  4. 「ウィンドウ」で「[3teneFree_beta]3teneFree_beta」を選択します。
  5. [OK]をクリックします。
  6. 3teneの画面が投影されていることを確認します。
    このとき、3teneのウィンドウバーが写り込んでしまうため、プレビュー画面で投影した画像サイズを調整します。
    アバターの位置を動かしたい場合にも、画像サイズや位置の調整で行ないます。
    スクリーンショット：投影した画像のサイズを調整している

背景画像の合成

ZoomやSteamYard側でバーチャル背景を合成する場合、この手順は不要です。

  1. 「ウィンドウ投影」を選択し、[フィルタ]をクリックします。
  2. 「エフェクトフィルタ」セクションの[+]をクリックします。
  3. 「クロマキー」を選択します。
  4. [閉じる]をクリックします。
  5. 「ソース」セクションの[+]をクリックします。
  6. 「画像」を選択します。
  7. 「画像ファイル」で合成する画像ファイルを選択します。
  8. [OK]をクリックします。
  9. 「画像」映像デバイスが一番上になるように、順番を並び替えます。
  10. アバターと背景画像が合成されたことを確認します。
    スクリーンショット：アバターと背景が合成されている

映像投影デバイスの追加

SteamYardでOBSの仮想カメラを使用するには、映像投影デバイスを追加します。
Zoomの場合、この手順は不要です。

  1. 「ソース」セクションの[+]をクリックします。
  2. 「映像投影デバイス」を選択します。
  3. 「デバイス」が未選択の状態で、[OK]をクリックします。
  4. 映像デバイスが一番上になるように、「ソース」の順番を並び替えます。

仮想カメラの開始

仮想カメラを開始します。
仮想カメラを開始すると、ZoomやSteamYardのカメラの設定で、OBSの仮想カメラを選択できるようになります。

  1. [仮想カメラの開始]横の歯車の形をした設定ボタンをクリックします。
  2. 「出力の種類」と「出力の選択」でそれぞれ「シーン」を選択します。
  3. [OK]をクリックします。
  4. [仮想カメラの開始]をクリックします。

さきほどと同様に、3teneとOBSを起動したままにします。

STEP4：ZoomやStremYardでOBSの仮想カメラを使用する

Zoomの場合

  1. Zoomの設定を開きます。
  2. 「ビデオ」タブを選択します。
  3. 「カメラ」で「OBS Virtual Camera」を選択します。
    スクリーンショット：OBS Virtual Camera」が選択されている
  4. OBSの映像がZoomに表示されることを確認します。

OBS側で背景画像を合成している場合は、Zoomのバーチャル背景をオフにします。

SteamYardの場合

  1. SteamYardの配信に参加します。
  2. [設定]をクリックします。
  3. 「カメラ」タブを選択します。
  4. 「カメラ」で「OBS Virtual Camera」を選択します。
    スクリーンショット：OBS Virtual Camera」が選択されている
  5. OBSの映像がSteamYardに表示されることを確認します。

おわりに

手順数は多いものの、特に難しい操作もなくZoomミーティングやStreamYardの配信へ参加できるようになりました。

また、アバターで美少女になってみたことで次の気付きがありました。

  • 普段できない格好や、髪色や髪型ができる。現実では髪色をピンクにできない。
  • 自己肯定感がとても上がる。かわいい…！
  • MacBookAir（Intel）だとファンの音がすごい。特に3teneでカメラをONにすると、CPU使用率が上がる。
  • ディスプレイモニターが足りない。複数のアプリケーションを起動するため、画面を逼迫する。