アプリのダウンロードなしで誰でも簡単にバーチャル美少女/美少年に! #Kalidoface3D がすごい

昨日、こんなツイートを見つけました。


Vtuber用webアプリの、Kalidoface 3Dというサービスが発表されたとのことで、早速使ってみました。



Kalidoface 3Dで遊んでみた

このアプリはWebカメラで顔と体の動きをトラッキングして、それに合わせてキャラクターが動きます。
アプリのダウンロードは不要で、スマホかPCからKalidoface 3DのサイトにアクセスするだけでOK。
これは手軽...!

サイトにアクセスすると、少ししてから女の子が登場します。
右下のビデオカメラボタンを押して、カメラアクセスを許可すると、トラッキングできるようになります。
Kalidoface3D
かわいい!!!!!


キャラクターや背景は、右下のアイコンから色々変えて遊べます。
自作モデル、自作背景をアップロードすることも可能です。

Safariだと、現状ボディトラッキングはできず、フェイストラッキングのみとなっているようです。
スマホから見るKalidoface3D
口と目の開閉もトラッキング。
ばっちりウィンクできた!

ボディトラッキングも試してみたかったので、パソコンからも使ってみました。
(Chromeで試した)
Kalidoface3Dのハンドトラッキング

Kalidoface 3Dのハンドトラッキング

Kalidoface 3Dのハンドトラッキング
微妙な指の変化もばっちりトラッキングされてます。
左上が本物の影織の動きです。


パソコンのデフォルトはボディトラッキングのみなのですが、
右上の設定から、フェイストラッキングとボディトラッキングを同時にできるようになります。
Kalidoface 3Dの設定画面


いざ実践...!
かなり高精度でトラッキングしてくれます。
ただ、手の表裏や、Z軸方向の深度(例えば手を顔の目の前に置いているのか、それとも顔から離しているのか)などの判定はやや弱そうです。
また、腕を高くあげようとしても、肩までしか上がらないことが多いです。

Kalidoface 3Dのフェイス&ハンドトラッキング
集合写真失敗しちゃった人みたい

Kalidoface 3Dのフェイス&ハンドトラッキング

Kalidoface 3Dのフェイス&ハンドトラッキング
目の動きもちゃんと捉えてる(上目遣いしてみた)

Kalidoface 3Dのフェイス&ハンドトラッキング

ちなみに、右下の電話マークを押すと、Chat IDで通話もできるっぽい。
Kalidoface 3Dのチャット機能


最後に、リアルタイムトラッキングの様子をビデオでお送りしましょう。


まとめ

WebXRでここまで遊べるというのはかなりすごいですね。
よりVTuberデビューの障壁が下がりやすくなるかもしれません。


注意

iPhone版のChromeで、なぜかFace Trackingが動かなかったです。
AR.jsなどを使っているときもめちゃくちゃ苦労した記憶があるのですが、ブラウザによってカメラ制御の許可が変わってくるんですよね...
目一杯楽しみたい人は、パソコンから遊ぶことをオススメします。