バ美肉してみた

という訳で。
ここ数日、Portalプレイ動画をとっかかりに、ホロライブ系の動画を見てまして。
バ美肉にも配信も興味はあったので、やってみようかな、と。

昔からの自分の知り合いは知ってるかもですが、もともと自分のアバターは存在してました。

twitterやmixiのアイコンにも使ってるこのドールです。
さらに遡れば、昔、書いていたSSシリーズの「自分投影用キャラ」(つまりアバター)なのです。このため、自分の容姿(後ろ長め、もみあげなしの短髪、眼鏡)と性癖(爆乳、ホットパンツ)を詰め込んでます。

いろいろ調べた結果、
・フェイストラッキングはWebカメラだけでもできる
・プリセットの組み合わせでそこそこのキャラは作れる
ということがわかってきたので、まずはPIXIVのVRoid Moaile(https://vroid.com/mobile)でキャラを作ってみましたが…いまさん。
他にないかな～、と探していたら、「REALITY」(https://reality.app/)というアプリがありました。
これは配信アプリでもあり、このアプリの中から配信もできます。が、作業配信がしたい自分にはちょっと目的にそぐわないんですが、フェイストラッキングのテストということで入れてみた。


すげぇ！ほぼ理想型で組めた！
フェイストラッキングもなかなか良さげ。(眼鏡越しにまばたきも取れているっぽい)
リップシンクは音声からとっているのかなこれは。
これPC配信も使えないかなー、とも思ったが、それは規約上まずそうね。

他にもカスタムキャストとかもやってみましたがいまいち。
やっぱりPC上で3Dモデル作るのが妥当か。
ということで、PC版のVRoid Studio(https://vroid.com/studio)をSteamからインストールして作ってみる。


…まぁ、ここまでかなぁ。眼がまだ理想とは言えないけど、これ以上は無理かな。
ホットパンツはBOOTHから拾ってきました。
VRMファイルとしてエクスポート。ついでにVRoid Hubにもうpしておく。

次はフェイストラッキング用のソフト…の前にWebカメラを用意しないといけないのだが、そんなものはない。
そこで、スマホのカメラをPCのWebカメラとして使うアプリを入れる。
Iriun Webcam(https://iriun.com/)を入れて撮影できるのを確認。

ではフェイストラッキング用のソフト、3tene(https://3tene.com/free/)を、これもSteamからインストール。
起動してVRMを読み込んでカメラと接続して…動いた！

あと、作業配信するならVDRAW(https://sites.google.com/view/vdraw/)というのもあるらしい。
これはデスクトップと、キーボード、マウスの動きをVRMモデルに適用することで、あたかもVR空間で作業している様に見せられる。
フェイストラッキングのカメラもいらない。
これが使えれば良かったんですが…私のPC では動きませんでした。キャプチャがうまく動かないと起動すらしないらしい。

最後に配信用アプリのインストール。
とりあえずニコ動用ということで、N Air(https://n-air-app.nicovideo.jp/)をインストール。
構成としては、

スマホで顔撮影+音声入力
　　　　↓
Iriun WebcamでPCへ取り込み
　　　　↓
3teneでIriun Webcamからフェイストラッキング+音声でリップシンク
　　　　↓
3teneの出力をWebカメラ扱いでN Airで取り込み、クロマキー合成
　　　　↓
　　　配信


できた。
タブレットから自分の配信も見てみる。
おもろいw
画面解像度が低いのはN Airの設定のせい。

もうちょっと調べてみる。
スマホ側でフェイストラッキングまでできないもんかね～…そうすれば自分の顔を見ないで済むし。
ということで、VRM対応アプリをいろいろ調べていくと、VMagicMirror(https://malaybaku.github.io/VMagicMirror/)というのを見つけた。
VDRAWと似ているが、あっちはアバターがダイナミックに動くのに対して、こっちはキーボードとマウスしか動かさない。ただし、視線はマウスカーソルを追うし、音声でリップシンクもする。Webカメラがなくともそこそこ動く。
…これでいいんじゃね？

VMagicMirror+音声入力でリップシンク
　　↓
N Air でデスクトップ取り込み
　　↓
　配信


できた。
作業配信ならこれで充分だわ…
という訳で、今後、20時以降ゲリラ的に作業配信するかも。