昨日、こんなツイートを見つけました。Launching my newest #Vtuber web app, Kalidoface 3D! 🎊
— Rich 🏴☠️👯♀️☄️🥐 (@yeemachine) July 13, 2021
Face and full-body tracking for 3D models now available for anyone with a browser and a webcam! #MadeWithTFJS and Mediapipe
Powered by @glitch 🎏
Try it out here!
➡️ https://t.co/vbr3ie8RC7 ⬅️ pic.twitter.com/Lk0OLb82CU
Vtuber用webアプリの、Kalidoface 3Dというサービスが発表されたとのことで、早速使ってみました。
Kalidoface 3Dで遊んでみた
このアプリはWebカメラで顔と体の動きをトラッキングして、それに合わせてキャラクターが動きます。
アプリのダウンロードは不要で、スマホかPCからKalidoface 3DのサイトにアクセスするだけでOK。
これは手軽...！
サイトにアクセスすると、少ししてから女の子が登場します。
右下のビデオカメラボタンを押して、カメラアクセスを許可すると、トラッキングできるようになります。
 |
| かわいい！！！！！ |
キャラクターや背景は、右下のアイコンから色々変えて遊べます。
自作モデル、自作背景をアップロードすることも可能です。
Safariだと、現状ボディトラッキングはできず、フェイストラッキングのみとなっているようです。
 |
| 口と目の開閉もトラッキング。 ばっちりウィンクできた！ |
ボディトラッキングも試してみたかったので、パソコンからも使ってみました。
（Chromeで試した）
 |
| 微妙な指の変化もばっちりトラッキングされてます。 左上が本物の影織の動きです。 |
パソコンのデフォルトはボディトラッキングのみなのですが、
右上の設定から、フェイストラッキングとボディトラッキングを同時にできるようになります。
いざ実践...！
かなり高精度でトラッキングしてくれます。
ただ、手の表裏や、Z軸方向の深度（例えば手を顔の目の前に置いているのか、それとも顔から離しているのか）などの判定はやや弱そうです。
また、腕を高くあげようとしても、肩までしか上がらないことが多いです。
 |
| 集合写真失敗しちゃった人みたい |
 |
| 目の動きもちゃんと捉えてる（上目遣いしてみた） |
 |
ちなみに、右下の電話マークを押すと、Chat IDで通話もできるっぽい。
最後に、リアルタイムトラッキングの様子をビデオでお送りしましょう。
まとめ
WebXRでここまで遊べるというのはかなりすごいですね。
よりVTuberデビューの障壁が下がりやすくなるかもしれません。
注意
iPhone版のChromeで、なぜかFace Trackingが動かなかったです。
AR.jsなどを使っているときもめちゃくちゃ苦労した記憶があるのですが、ブラウザによってカメラ制御の許可が変わってくるんですよね...
目一杯楽しみたい人は、パソコンから遊ぶことをオススメします。
0 コメント