誰でも一流シェフに!? AR調理アシスタントアプリ「ボーノ！Cooking」を使ってみた

先日、Kageori Labo が開発しているARグラス（メガネ越しに見える現実世界に、デジタルの情報を重ねるデバイス）、Kageori Glass V.1.0を購入しました。

普段使いできるオシャレなメガネです

さて、今日は早速届いたARグラスに、巷で話題の調理アシスタントアプリ「ボーノ！Cooking」をダウンロードして使ってみた日記です。

調理アシスタントアプリ「ボーノ！Cooking」とは

ボーノ！Cookingは、「今日から誰でも一流シェフに」を標榜するアプリです。

機能を見ていきましょう。

冷蔵庫連携機能

冷蔵庫の中身をAR表示してくれます。

賞味期限・消費期限が近い食材を教えてくれるのは、個人的にとってもありがたいです。
この機能があれば、冷蔵庫の中で野菜が液状化したり、カビの培養地が生まれたりしませんね（昔どっちもやった）。

また、冷蔵庫内の食材から、レシピのサジェスチョンをしてくれます。

卵とベーコンの消費期限が近づいているので、今日は本場ローマ風カルボナーラを作りましょう。

ちなみにもうすぐ来るアップデートでは、普段よくストックしている食材が減ってきた時に通知してくれる機能が追加されるそうです。特に調味料系は、いざ使おうとした時になくなっていことがあるあるですよね。これは楽しみです。

調理アシスタント機能

ということで早速作っていきます。

このアプリは、材料の切り方、火加減、計量、タイマーなど、完璧な料理を作る手順を、全て直感的なAR表示と音声でサポートしてくれます。

まずは玉ねぎとニンニクを切りましょう。

カットのガイドラインを拡大表示してくれます

途中経過

いい感じに切れましたね

切った野菜たちとベーコンを炒めていきます。

強火・中火・弱火を、火の大きさの範囲で教えてくれる
これは中火だね

今回は中火で炒めるとのことなので、中火に調整しましょう。

完璧！

油を敷きます。
計量カップやスプーンなどを使わなくても、鍋の上に出てくるアイコンの色が完全に変わるまで注げばOKです。わかりやすいですね。

注いだ量に応じてアイコンが塗りつぶされていく...！

材料を炒めている間に、卵液を作ります。本場カルボナーラは生クリームや牛乳を入れないそうです。へ〜。
ということでワイン、粉チーズ、卵をよくかき混ぜます。

リアルタイムで投入量を計算してくれる、一体どうやってるんだ

固形物は水滴アイコンじゃないんだね

まぜまぜ

ソース作りと並行して、パスタを茹でます。

パスタの取る分量もARでわかりやすいですね。

グラム数表示機能をONにすると、目分量力（とは？笑）も身につきそうです。

パスタどれくらい取ったらいいの問題、もう悩み無用

タイマー機能もあり、パスタの茹で時間も、材料の炒め時間もばっちりわかります。

時間が来ると、アラームが鳴ってお知らせしてくれます。

パスタが茹で上がったら、先ほど炒めていた材料たちの火を止めて合わせます。
そして卵液を投入し、よく絡めます。

完成〜！٩( 'ω' )و

盛り付け量からカロリーを算出して表示してくれます。食事制限している人には嬉しい機能ですね。

ででん。

いざ実食...う、うま過ぎる〜！この料理を作ったシェフを呼んでくれ！ε-(´∀｀; )
...あっ自分だわ( ˘ω˘ )笑

撮影機能

「キャプチャ」と言うだけでぱしゃっと撮影してくれます。
今回ブログに載せているキャプチャも全て、この機能を使って簡単に撮れました。料理中にスマホを触るのはちょっと不衛生なので（このご時世ですしね）、音声指示一つで撮影できるのはすごく便利だな、と思いました。

また撮影だけでなく、美味しそうに見えるように、撮った写真の明るさやコントラストなどの自動加工もしてくれます（もちろん、後から自分で加工することもできます）。

自動加工でもかなり雰囲気のいい写真になる！

TwitterやInstagramなど各種SNSとの連携も簡単なので、作って撮ってすぐ上げる、が簡単ですね。

早速上げてみた

また、作っている最中に動画を記録することもできます。Vlog（Video blog）なども簡単に書けますね！

嗜好フィードバック機能

よく、ネットで探した美味しいと評判のレシピ通りに作ってみたけど、味が濃すぎた、薄過ぎた、脂っこ過ぎた...みたいなことってありますよね。

このアプリでは、味のフィードバック機能がついています。指示通りに作った味を評価していくことで、どんどん自分好みの味になるようにレシピが調整されていくのです。

今回はやや塩味強めの印象だったので、しょっぱさがややきつめ、と評価しておきました。

まとめ

ボーノ！Cooking、めちゃくちゃ便利ですね。

自炊が苦手な人でも、簡単に激ウマ料理ができちゃうので、ぜひ使ってみてください！

※この投稿はフィクションです。登場する製品・団体・名称等は架空であり、実在のものとは関係ありません。

＊　　　＊　　　＊

解説

本記事で取り上げた「ボーノ！Cooking」は、XR創作大賞向けに考案した架空のアプリである。

記事の補足として、本アプリの実装における課題及び、本アプリが普及することで期待されることと起こりうる問題を以下にまとめたい。

実装における課題

- 冷蔵庫連携

すでに冷蔵庫内の中身を確認できるIoT冷蔵庫があるので、冷蔵庫APIとレシピAPIを開発すれば、比較的容易に実現可能だろう。

- 火加減とタイマー

コンロとIHクッキングヒーターの種別や、メーカーごとに強火・中火・弱火の基準が変わるので、まずそのデータを集める必要があると考えられる。

また、タイマー機能については、加熱器による熱効率、材料の分量、大きさ、温度（直前まで冷凍/冷蔵/ 常温保存されていたか）、鍋の厚みなど、さまざまな条件から正確な加熱時間を算出するアルゴリズムを組む必要がある。

- 調理ディレクション

かき混ぜる、投入するなどの操作で、どの程度かき混ぜたらいいのか、どのタイミングで投入したらいいのか、などを数値化して学習させる必要がある。

「耳たぶくらいの硬さ」など感覚的に表現される情報の正確な数値化が課題だと考えられる。

- 調味料のリアルタイム計量

器具からではなく、視覚情報から計量する点が難しく、本アプリ最大の課題と言えるだろう。注ぎ口の大きさや容器の角度から流出量を算出するか、容器や鍋の中に広がった調味料の底面積と高さから流入体積を算出する方法が考えられる。

また、見る角度によって出る算出誤差の補正も課題だろう。

- 嗜好フィードバック機能

評価に応じて、塩分や油分を料理の数%ずつ増減させたレシピを表示していくことで、ユーザーの好みに応じた味を出せるようになると考えられる。

ただ、体調による味覚の変化や、料理ごとの味の嗜好の違い（普段は薄味を好むが、カレーだけは濃味を好むなど）で出る揺らぎをどのようにアルゴリズムに反映させるかが課題だと考えられる。

- 写真の自動加工機能

キャプチャ画像情報とユーザーによる加工情報を収集し、機械学習させていくことで、かなり綺麗な加工ができるようになるのではないか。

期待されること

- 料理が苦手な人の自炊のハードルが大きく下がって、あらゆる人が調理と食事を楽しみやすくなる。

- 本格的なプロの料理を、自分で手軽に作って楽しめる。

- いちいちスマホやレシピ本を引き比べずとも、音声やARによりサポートが受けられるため、初めて作る料理でもスムーズに調理できる。

- 調理中にスマホやレシピ本などに触れずに作業できるようになり、衛生的である。

- コロナ禍で外食の機会が減った結果、外食産業が依拠していた輸入農畜産物の輸入を大きく減少させたという調査結果があることから、楽しんで自炊をする人が増え、外食の機会が減ることで、日本の食料自給率上昇につながる可能性がある。

起こりうる問題とその解決法

- 調理中、ARのインストラクションに気を取られすぎることで、火傷や包丁での怪我につながる可能性がある。

→ユーザーが調理に集中できるUIを工夫することで防げるだろう。例えば、インストラクションは音声や直感的にわかるシンプルなアイコンの表示にして、過度な演出やアニメーションを抑えるなどの方策が考えられる。
また、写真加工やSNS投稿などの一部機能について、調理作業中は使えないようにロックすることも有効だろう。

- 全ての人がこのアプリを使って調理するようになったら、「我が家の味」「おふくろの味」のような食の多様性や、食が想起させる暖かみがなくなって、無機質で均一化された食事体験となるのではないか。

→嗜好フィードバック機能により、元々同じレシピでも、学習を重ねるごとにユーザー独自の味が生まれてくる。

また、このアプリを通して自炊のハードルが下がることで、これまでインスタント食品やレトルト食品ばかり食べていた人でも、食事を作る楽しみや、家で自分で作ったものをゆったりと食べる喜びなどを味わえるようになる。

その結果、食事体験の豊かさはむしろ拡大するのではないか。

- 家で一流レストラン並みの味が再現できると、わざわざレストランに行く人が減り、外食産業を脅かしうるのではないか。

→自炊の時間が取れない人、作るのが面倒な人向けの外食産業は、一定の需要があり続けるだろう。

また、レストランは、ただ食事するというだけではなく、そこで快適なサーブを受ける、空間でリラックスするなど、味覚以外の体験を楽しむ場へと変わっていくのではないか。

- カーナビがついたことで運転の道順を覚えられなくなったように、停電時・災害時をはじめとしたARグラスが使えない状況に陥った時、まともに料理できなくなるのではないか。

→アプリ内では、小さじ1・水300ccのような器具を使った測り方ではなく、直感的なインストラクションで調理するように設計している。その調理経験を重ねることで、ユーザーは目分量を自然と身に付け、ARグラスを使わずに美味しく調理する技法を身につけられるのではないか。