　食材の色がそのままキャンバスに反映されるため、多様な食材を食べる必要がある。ゆっくり食べると鮮やかな色になるため、一口ごとにしっかり咀嚼する行為が求められる。キャンバス内の絵を鮮やかにしたい場合は、バランスの良い料理を適切な速度で食べなければならない。これらをインセンティブとして、健康的な食事へつなげることを目的としている。

（左上）箸型センサー（右上）デジタルキャンバスを見ながら食事する（左下）デジタルキャンバス内の風景画のアウトライン（右下）バランスの良い料理を適切な速度で食した際の風景画

　箸型センサーとゲートウェイデバイス、デジタルキャンバスでシステムを構成。箸型センサーには加速度信号とジャイロ信号を取得するIMUセンサーと小型カメラを搭載。箸でつかんだ食べ物を小型カメラが撮影する。

　ゲートウェイデバイスは、IMUセンサーで取得した信号とカメラで取得した画像データを同時に処理し解析する。IMUセンサーで取得した信号から箸の姿勢角度を算出し、先端を口に向ける動きを特定する。画像データから深層学習の画像処理モデルを用い、食べ物が写っているかを認識。箸の傾きと食べ物画像を組み合わせて、食べ物がユーザーの口に入った摂取タイミングを検出する。実験では検出精度95％を達成したという。

　最後に、検出した摂食タイミングから逆算して食べる速度を求める。画像処理により口に運んだ食材の種類（色）と一口あたりの食べ物の大きさ（小、中、大）も検出。検出した食べ物の色は絵の具の色に、食事の速度は色の混ざり具合に、一口あたりの大きさは色が塗られる速度に対応する。

システムの概要図

　表示するデジタルキャンバスは、短期的に塗り潰す小型の薄型タブレット端末と、長期的に塗り潰す大型のサイネージ端末の2種類を作成。小型キャンバスは、50回以上口にして食べる1回の食事を目安に49枚（7色×7カ所）のピース数を設定。大型キャンバスは、週7回以上バランスのとれた食事をする想定で350枚（7色×50カ所）のピース数を設定。デジタルキャンバスは、どちらも日本の風景画をベースにした。

　ユーザーは小型キャンバスを見ながら食事を行い、風景画の全てのピースに鮮やかな色を塗るミッションをこなす。色の違う料理をまんべんなく食べる、バランスのとれた食事を目指す。そのため色鮮やかな風景画に仕上げるには、多様な色（赤、紫、緑、白、黒、黄色、茶色など）の食べ物をバランスよく食べなければならない。例えば、緑色ならほうれん草、茶色なら金平牛蒡、黄色なら卵焼き、黒色ならひじきなど。

多様な色の食べ物を食べると風景画が鮮やかになる

　色以外では、ユーザーの食べる速度が重要になる。ゆっくり咀嚼しながら食べる行為を良い食べ方と仮定し、食べ方が早いと1ピースに塗られる色が混ざり、風景画の見栄えを悪くする設定にしている。例えば、焼鮭を咀嚼している間に卵焼きを食べてしまうと、食べ始めるのが早いと断定して赤と黄色が混ざった色がデジタルキャンバスに出力され、くすんだ色として表現される。鮮やかな色を塗るためには、一口食べるごとに十分な時間（10 秒から30秒）をかけてゆっくりと食べる行為が要求される。

　一度に口へ運んだ食べ物の大きさに応じて、1秒当たりの平均咀嚼数1.5回を目安に、咀嚼すべき回数から一口あたりの待ち時間を決定している。