　立命館大学大学院村尾研究室の研究チームが開発した「アクティブ音響センシングを用いた食材認識カトラリー」（PDFへのリンク）は、フォークもしくはスプーン（カトラリー）にマイクとスピーカーを取り付け、刺したり載せたりした時に食材を判別するフードログシステムだ。食材の刺し方や載せ方にばらつきがあっても高い精度で種類を判別する。

食材をフォーク型デバイスで刺した様子と、スプーン型デバイスに載せた様子

マイクとスピーカーを取り付けたフォークとスプーン

　食べた物を記録するフードログでは、食事をカメラで撮影し画像解析するアプローチが主流だが、今回はフォークとスプーンにマイクとスピーカーを取り付ける「アクティブ音響センシング」を用いて接触した食材を判別した。

　アクティブ音響センシングとは、自ら信号となる音を発信し、それに対する反応の違いを利用して測定する技術を指す。今回はスピーカーから特定の音響信号を接触した食材に伝搬させ、マイクで得たその応答の周波数特性を解析し食材の種類や状態を認識する。周波数が時間とともに変化する「Sweep音」をスピーカーから発して、カトラリーから跳ね返った振動をマイクから取得する。

　食材を含む全ての物体には共振モード、共振周波数、モード減衰比で表現できる固有の音響特性があるため、これらの音響特性の差を利用し食材の種類の違いを識別する。

システムの概要図

　提案手法の有効性を示すため、14種類の野菜（キャベツ、白菜、人参、キュウリなど）を認識対象として実験を行った。また1種類の野菜に対して、3つの切り方（千切り、半月切り、いちょう切りなど）で5固体、合計210素材を用意した。

3つの切り方をした14種類の野菜、合計210の食材

さまざまな切り方でカットした野菜を実験素材にしている

　素材をそれぞれフォーク型デバイスに刺し、スプーン型デバイスに載せ、野菜の種類や切り方を認識できるかを評価したところ、切り方の違いは判別できないものの、種類はどの切り方でも高い認識精度で判別できた。このことから、食材の刺し方や乗せ方が違っていても有効であることが分かった。この結果は、野菜の形状ではなく組成（中の要素や成分）が判別に大きく作用したことを意味する。

　今回はフォークとスプーンに限定したが、箸やナイフなどでも利用できる可能性がある。使用用途も食べた物を記録するフードログだけでなく、包丁やお玉などに搭載し調理過程の記録にも活用できるとしている。

　食品以外にも、ドライバーやペンチなどの工具に搭載し組立工程を記録する応用や、農作物の収穫機器に搭載し収穫物の種類や成熟度、サイズを判別する活用も考えられる。

　動画はこちら。