歯磨きの磨き残しを検出するシステム 手の動きをスマートウォッチで計測し、分析：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米メンフィス大学と米カリフォルニア大学ロサンゼルス校の研究チームが開発した「mTeeth: Identifying Brushing Teeth Surfaces Using Wrist-Worn Inertial Sensors」は、歯磨き中の手動歯ブラシを持つ手の向きの変化から磨き残しを特定するモデルだ。歯ブラシを持つ手に装着するスマートウォッチや活動量計に搭載する慣性センサーから手の動きを取得し分析する。

ブラッシングストロークのフレームごとのアノテーション

　定期的に歯磨きをしているにもかかわらず、歯科疾患がまん延している一つの理由に、歯磨きに癖があり、無意識に磨けていない場所があるからという。

　この解決策の新しい手法として、手首に装着したスマートウォッチや活動量計に搭載する慣性センサー（3軸加速度センサーと3軸ジャイロスコープ）で収集したデータから、どの歯の表面が磨かれているのか、それとも磨けていないのかを検出するモデルを提案する。

　データセットを作成するために、参加者19人に慣性センサーを搭載したリストバンドを装着してもらい、歯磨き時のセンサーデータを収集した。歯磨き中の様子はカメラでも撮影し、各歯の表面が磨かれている時間（開始時間と終了時間）と、歯の表面間の移動をラベル付けした。

　歯の表面間の移動は曖昧で頻繁に切り替わるため、どこを磨いているかを1本ずつ検出することは避け、大まかに9つのエリアに分けた。外側は上と下の歯で頻繁に入れ替わったり重なり合ったりで判別できないため、中央と左右の3エリアに集約。内側は噛んだときに重なるそしゃく面との入れ替わりが頻繁に起こるため、上3つと下3つの6エリアに集約した。

モデルのトレーニングとテストのためのデータ処理段階のパイプライン

9つのエリアごとの加速度計とジャイロスコープの3軸の大きさ

　

　精度を高めるために、センサーデータによるラベル付けと映像を使ったラベル付けを同期する手法を開発。これにより表面の移行のラベルがミリ秒の精度でセンサーデータのセグメントに対応できるようになった。その結果、ブラッシングストロークを低誤差で検出が可能となる。

　検出したブラッシングストロークのデータを参考に、各表面の滞在時間（ブラッシング時間）の変動を定量化。この滞在時間によって、各歯の表面にどれくらいの時間をかけて磨いているかを特定する。

　今後の課題としては、そしゃく面を多く磨き内側をあまり磨かない傾向があるため、そしゃく面と内側を区別したデータの取得、また歯ブラシを歯に当てた際の圧力の推定を行い、これらを取り入れより磨けていない箇所の特定への精度を高めたいとしている。

Source and Image Credits: Sayma Akther, Nazir Saleheen, Mithun Saha, Vivek Shetty, and Santosh Kumar. 2021. MTeeth: Identifying Brushing Teeth Surfaces Using Wrist-Worn Inertial Sensors. Proc. ACM Interact. Mob. Wearable Ubiquitous Technol. 5, 2, Article 53 (June 2021), 25 pages. DOI:https://doi.org/10.1145/3463494