自作の美少女アバターで Zoom ミーティングや StreamYard の配信に参加する

Tech
December 22, 2022

はじめに

macOS で自作のアバターを操作し、Zoom や StreamYard の配信に参加するまでの方法を紹介します。
この方法だと、自作アバターに凝らなければ、環境の構築やアプリケーションの設定には 30 分もかかりません。

この記事で説明しないこと

  • VRoid Studio を使って 3D モデルを作成する操作手順
    作成する手順の詳細は、VRoid Studio ヘルプサイトやほかの紹介ブログを参照してください。
  • アバターの表情や手足の動かし方
    この記事で紹介しているアプリケーションの無償版では、頭と口の動きだけ Web カメラに映った人間の動きに追従します。
    より細かく表情を同期させたり手足を動かしたりするには、有償版や LeapMotion の利用が必要です。

自作のアバターで Zoom や StreamYard に参加するまでのステップ

自作のアバターで Zoom や StreamYard の配信に参加するまでの、おおまかな流れは次のとおりです。
ほかの紹介ブログで説明している方法も、利用するアプリケーションに違いがありますが、基本的な流れは同じです。

  1. 3D モデルを用意し、VRM ファイルを作成する
  2. Web カメラに映った人の動きを 作った3D モデルをアバターとして動かす
  3. 動かしている映像を投影した仮想カメラを作る
  4. Zoom や SteamYard で仮想カメラを使用し、ミーティングや配信に参加する

この記事では、次の図に示す構成で自作のアバターを動かし、Zoom のミーティングや StreamYard の配信に参加します。
図:自作のアバターを動かし、Zoom や StreamYard の配信に参加するまでの流れを示している

使用したアプリケーションは次のとおりです。

  • VRoidStudio:3D モデルを作成し、VRM ファイルをエクスポートする
  • 3tene:3D モデルのアバターを動かす
  • OBS Studio:アバターが動いている画面を投影し、仮想カメラを作る
  • Zoom または StreamYard:仮想カメラを使用して、ミーティングや配信に参加する

動作環境

  • macOS Monterey v12.6(M1 mac でも動作確認済み)
  • VRoid Studio 正式版 v1.17.1
  • 3tene Free v3.0.6
  • OBS Studio v28.1.2
  • Zoom v5.13.0

STEP1:VRoid Studio を使って、3D モデルを用意し、VRM ファイルを作成する

3D モデルの作成

通常、3D モデリングを行なうには、ポリゴンを用意したり動かすための関節(ボーン)を入れたり、モデリングの専門的な知識が必要です。
私は専門知識が皆無なので、オリジナルの 3D キャラクターを作成できる VRoid Studio を使って、3D モデルを用意します。

VRoid Studio は、男女のそれぞれのモデルをベースに、目や口、髪型などのパーツや体型をカスタマイズして 3D モデルを作成できるアプリケーションです。
スクリーンショット:男女のベースを選択する画面が表示されている

配布されているカスタムアイテムの探し方

VRoid Studio で使えるパーツは、目ひとつとってもさまざまなパターンがあり、パーツの位置や角度を自由度高く調整できます。
よりこだわりたい場合は Pixiv BOOTH で配布されているパーツを、カスタムアイテムとしてインポートします。
Pixiv Booth で「VRoid」というキーワードを検索すると、さまざまなパーツを見つけることができます。

私は次のパーツを BOOTH で入手し、カスタムアイテムとしてインポートしました。

  • 髪型
  • 髪色(テクスチャ)
  • 目の色やハイライト(テクスチャ)
  • 服(テクスチャ)

カスタムアイテムのインポートには苦戦したので、別の記事でカスタムアイテムを使い方を書きたいです。

VRM ファイルのエクスポート

VRoid Studio で、作成したモデルを .vrm という拡張子のファイルでエクスポートします。
このファイルを、アバターを動かすアプリケーション 3tene に読み込みます。

  1. 画面右上のエクスポートボタンをクリックします。
  2. 「VRMエクスポート」を選択します。
    スクリーンショット:[VRMエクスポート]が表示されている
  3. エクスポート情報を削減します。 エクスポート情報が多いと、PC のスペックによっては動かすときにカクつく可能性があるためです。
    最適値はわかっていませんが、今回は「ポリゴンの削減」で次の項目を選択しました。
    • 「髪の断面形状を削減する」
    • 「透明メッシュを削除する」
  4. [エクスポート]をクリックします。

STEP2:3tene を使って 3D モデルのアバターを動かす

STEP1 でエクスポートした VRM ファイルを動かすために、3tene を使います。
3tene は Web カメラに映った人の動きをアバターに反映して動かすことができるアプリケーションです。
この記事では、無償版の 3tene を使用します。

3tene のインストール

3tene は、3tene の Web サイト からダウンロードできます。
mac の場合は、ダウンロードした zip を展開し、3teneFREE_beta.app を「アプリケーション」に移動します。

VRM ファイルの読み込み

VRoid Studio からエクスポートした VRM ファイルを読み込みます。

  1. 左のメニューバーから、[アバターの選択]をクリックします。
  2. [+]をクリックします。
  3. エクスポートした VRM ファイルを選択します。
    画面にインポートした3D モデルのアバターが表示されます。
    スクリーンショット:3D モデルのアバターが表示されている

背景画像の変更

背景画像を合成できるよう、背景色をグリーンバックにします。

  1. 左のメニューバーから[背景]をクリックします。
  2. 「背景変更」タブを選択します。
  3. 「色指定」で緑色を選択します。
    背景が緑色になります。

メニューバーの非表示

OBS では、3tene の画面を投影します。
メニューバーが表示されているとメニューバーごと投影されてしまうため、使わないときは隠すように設定します。

  1. 右のメニューバーから[設定]をクリックします。
  2. 「システム」タブを選択します。
  3. 「メニューバーを自動的に隠す」を選択します。
  4. [設定を保存]をクリックします。

アバターと Web カメラの動きの同期

アバターを操作する Web カメラを選択し、アバターの操作を開始します。

  1. [アバター調整]をクリックします。
  2. 「設定」タブを選択します。
  3. 「Webカメラ」で使用する Web カメラを選択します。
  4. [設定を保存] をクリックします。
  5. [トラッキングのオンオフ]をクリックします。
  6. 「フェイストラッキング」と「リップシンキング」でそれぞれ[開始]をクリックします。
    アバターが Web カメラに映った人の動きに合わせて動き出します。
    動画:アバターが人の動きに合わせて動いている

OBS では 3tene の画面を投影するため、3tene を起動したままにします。

STEP3:OBS Studio で 3tene の画面を投影した仮想カメラを作る

OBS Studio のインストール

OBS Studio は、OBS の Web サイト からダウンロードできます。
mac の場合は、Homebrew を使ってインストールすることもできます。

$ brew install obs

起動と権限設定

OBS Studio を起動して、必要な権限を設定します。

  1. アプリケーションから「OBS」を選択します。
  2. 初めてを起動する場合は、権限を設定します。
    今回は「画面収録」に対する許可をします。
  3. 「自動構成ウィザード」が表示される場合には、「仮想カメラのみ使用する」を選択して設定を適用します。

3tene の画面の投影

  1. 「ソース」セクションの[+]をクリックします。
  2. 「ウィンドウ投影」を選択します。
  3. 「新規作成」を選択して、適当な名前を入力し[OK]をクリックします。
  4. 「ウィンドウ」で「[3teneFree_beta]3teneFree_beta」を選択します。
  5. [OK]をクリックします。
  6. 3tene の画面が投影されていることを確認します。
    このとき、3tene のウィンドウバーが写り込んでしまうため、プレビュー画面で投影した画像サイズを調整します。
    アバターの位置を動かしたい場合にも、画像サイズや位置の調整で行ないます。
    スクリーンショット:投影した画像のサイズを調整している

背景画像の合成

Zoom や SteamYard 側でバーチャル背景を合成する場合、この手順は不要です。

  1. 「ウィンドウ投影」を選択し、[フィルタ]をクリックします。
  2. 「エフェクトフィルタ」セクションの[+]をクリックします。
  3. 「クロマキー」を選択します。
  4. [閉じる]をクリックします。
  5. 「ソース」セクションの[+]をクリックします。
  6. 「画像」を選択します。
  7. 「画像ファイル」で合成する画像ファイルを選択します。
  8. [OK]をクリックします。
  9. 「画像」映像デバイスが一番上になるように、順番を並び替えます。
  10. アバターと背景画像が合成されたことを確認します。
    スクリーンショット:アバターと背景が合成されている

映像投影デバイスの追加

SteamYard で OBS の仮想カメラを使用するには、映像投影デバイスを追加します。
Zoom の場合、この手順は不要です。

  1. 「ソース」セクションの[+]をクリックします。
  2. 「映像投影デバイス」を選択します。
  3. 「デバイス」が未選択の状態で、[OK]をクリックします。
  4. 映像デバイスが一番上になるように、「ソース」の順番を並び替えます。

仮想カメラの開始

仮想カメラを開始します。
仮想カメラを開始すると、Zoom や SteamYard のカメラの設定で、OBS の仮想カメラを選択できるようになります。

  1. [仮想カメラの開始]横の歯車の形をした設定ボタンをクリックします。
  2. 「出力の種類」と「出力の選択」でそれぞれ「シーン」を選択します。
  3. [OK]をクリックします。
  4. [仮想カメラの開始]をクリックします。

さきほどと同様に、3tene と OBS を起動したままにします。

STEP4:Zoom や StremYard で OBS の仮想カメラを使用する

Zoom の場合

  1. Zoom の設定を開きます。
  2. 「ビデオ」タブを選択します。
  3. 「カメラ」で「OBS Virtual Camera」を選択します。
    スクリーンショット:OBS Virtual Camera」が選択されている
  4. OBS の映像が Zoom に表示されることを確認します。

OBS 側で背景画像を合成している場合は、Zoom のバーチャル背景をオフにします。

SteamYard の場合

  1. SteamYard の配信に参加します。
  2. [設定]をクリックします。
  3. 「カメラ」タブを選択します。
  4. 「カメラ」で「OBS Virtual Camera」を選択します。
    スクリーンショット:OBS Virtual Camera」が選択されている
  5. OBS の映像が SteamYard に表示されることを確認します。

おわりに

手順数は多いものの、特に難しい操作もなく Zoom ミーティングや StreamYard の配信に参加できるようになりました。

また、アバターで美少女になってみたことで次の気付きがありました。

  • 普段できない格好や、髪色や髪型ができる。現実では髪色をピンクにできない。
  • 自己肯定感がとても上がる。かわいい…!!
  • MacBookAir(Intel)だとファンの音がすごい。特に 3tene でカメラを ON にすると、CPU 使用率が上がる。
  • ディスプレイモニターが足りない。複数のアプリケーションを起動するため、画面を逼迫する。