自作の美少女アバターで Zoom ミーティングや StreamYard の配信に参加する

Posts Published: 2022年12月22日

VRoid Studio

はじめに

macOS で自作のアバターを操作し、Zoom や StreamYard の配信に参加するまでの方法を紹介します。
この方法だと、自作アバターに凝らなければ、環境の構築やアプリケーションの設定には 30 分もかかりません。

この記事で説明しないこと

VRoid Studio を使って 3D モデルを作成する操作手順
作成する手順の詳細は、VRoid Studio ヘルプサイトやほかの紹介ブログを参照してください。
アバターの表情や手足の動かし方
この記事で紹介しているアプリケーションの無償版では、頭と口の動きだけ Web カメラに映った人間の動きに追従します。
より細かく表情を同期させたり手足を動かしたりするには、有償版や LeapMotion の利用が必要です。

自作のアバターで Zoom や StreamYard に参加するまでのステップ

自作のアバターで Zoom や StreamYard の配信に参加するまでの、おおまかな流れは次のとおりです。
ほかの紹介ブログで説明している方法も、利用するアプリケーションに違いがありますが、基本的な流れは同じです。

3D モデルを用意し、VRM ファイルを作成する
Web カメラに映った人の動きを作った 3D モデルをアバターとして動かす
動かしている映像を投影した仮想カメラを作る
Zoom や SteamYard で仮想カメラを使用し、ミーティングや配信に参加する

この記事では、次の図に示す構成で自作のアバターを動かし、Zoom のミーティングや StreamYard の配信に参加します。

使用したアプリケーションは次のとおりです。

VRoidStudio：3D モデルを作成し、VRM ファイルをエクスポートする
3tene：3D モデルのアバターを動かす
OBS Studio：アバターが動いている画面を投影し、仮想カメラを作る
Zoom または StreamYard：仮想カメラを使用して、ミーティングや配信に参加する

動作を確認した環境

macOS Monterey v12.6（M1 mac でも動作確認済み）
VRoid Studio 正式版 v1.17.1
3tene Free v3.0.6
OBS Studio v28.1.2
Zoom v5.13.0

STEP1：VRoid Studio を使って、3D モデルを用意し、VRM ファイルを作成する

3D モデルの作成

通常、3D モデリングを行なうには、ポリゴンを用意したり動かすための関節（ボーン）を入れたり、モデリングの専門的な知識が必要です。
私は専門知識が皆無なので、オリジナルの 3D キャラクターを作成できる VRoid Studio を使って、3D モデルを用意します。

VRoid Studio は、男女のそれぞれのモデルをベースに、目や口、髪型などのパーツや体型をカスタマイズして 3D モデルを作成できるアプリケーションです。

VRoid をはじめよう

配布されているカスタムアイテムの探し方

VRoid Studio で使えるパーツは、目ひとつとってもさまざまなパターンがあり、パーツの位置や角度を自由度高く調整できます。
よりこだわりたい場合は Pixiv BOOTH で配布されているパーツを、カスタムアイテムとしてインポートします。
Pixiv Booth で「VRoid」というキーワードを検索すると、さまざまなパーツを見つけることができます。

私は次のパーツを BOOTH で入手し、カスタムアイテムとしてインポートしました。

髪型
髪色（テクスチャ）
目の色やハイライト（テクスチャ）
服（テクスチャ）

カスタムアイテムのインポートには苦戦したので、別の記事でカスタムアイテムを使い方を書きたいです。

VRM ファイルのエクスポート

VRoid Studio で、作成したモデルを .vrm という拡張子のファイルでエクスポートします。
このファイルを、アバターを動かすアプリケーション 3tene に読み込みます。

画面右上のエクスポートボタンをクリックします。
「VRM エクスポート」を選択します。
エクスポート情報を削減します。エクスポート情報が多いと、PC のスペックによっては動かすときにカクつく可能性があるためです。
最適値はわかっていませんが、今回は「ポリゴンの削減」で次の項目を選択しました。
- 「髪の断面形状を削減する」
- 「透明メッシュを削除する」
[エクスポート]をクリックします。

STEP2：3tene を使って 3D モデルのアバターを動かす

STEP1 でエクスポートした VRM ファイルを動かすために、3tene を使います。
3tene は Web カメラに映った人の動きをアバターに反映して動かすことができるアプリケーションです。
この記事では、無償版の 3tene を使用します。

3tene のインストール

3tene は、3tene の Web サイトからダウンロードできます。
mac の場合は、ダウンロードした zip を展開し、3teneFREE_beta.app を「アプリケーション」に移動します。

VRM ファイルの読み込み

VRoid Studio からエクスポートした VRM ファイルを読み込みます。

左のメニューバーから、[アバターの選択]をクリックします。
[+]をクリックします。
エクスポートした VRM ファイルを選択します。
画面にインポートした 3D モデルのアバターが表示されます。

背景画像の変更

背景画像を合成できるよう、背景色をグリーンバックにします。

左のメニューバーから[背景]をクリックします。
「背景変更」タブを選択します。
「色指定」で緑色を選択します。
背景が緑色になります。

メニューバーの非表示

OBS では、3tene の画面を投影します。
メニューバーが表示されているとメニューバーごと投影されてしまうため、使わないときは隠すように設定します。

右のメニューバーから[設定]をクリックします。
「システム」タブを選択します。
「メニューバーを自動的に隠す」を選択します。
[設定を保存]をクリックします。

アバターと Web カメラの動きの同期

アバターを操作する Web カメラを選択し、アバターの操作を開始します。

[アバター調整]をクリックします。
「設定」タブを選択します。
「Web カメラ」で使用する Web カメラを選択します。
[設定を保存] をクリックします。
[トラッキングのオンオフ]をクリックします。
「フェイストラッキング」と「リップシンキング」でそれぞれ[開始]をクリックします。
アバターが Web カメラに映った人の動きに合わせて動き出します。

OBS では 3tene の画面を投影するため、3tene を起動したままにします。

STEP3：OBS Studio で 3tene の画面を投影した仮想カメラを作る

OBS Studio のインストール

OBS Studio は、OBS の Web サイトからダウンロードできます。
mac の場合は、Homebrew を使ってインストールできます。

$ brew install obs

起動と権限設定

OBS Studio を起動して、必要な権限を設定します。

アプリケーションから「OBS」を選択します。
初めてを起動する場合は、権限を設定します。
今回は「画面収録」に対する許可をします。
「自動構成ウィザード」が表示される場合には、「仮想カメラのみ使用する」を選択して設定を適用します。

3tene の画面の投影

「ソース」セクションの[+]をクリックします。
「ウィンドウ投影」を選択します。
「新規作成」を選択して、適当な名前を入力し[OK]をクリックします。
「ウィンドウ」で「[3teneFree_beta]3teneFree_beta」を選択します。
[OK]をクリックします。
3tene の画面が投影されていることを確認します。
このとき、3tene のウィンドウバーが写り込んでしまうため、プレビュー画面で投影した画像サイズを調整します。
アバターの位置を動かしたい場合にも、画像サイズや位置の調整で行ないます。