口の中も自撮りで 深層学習で口腔内を自動検査：Innovative Tech

歯の検査も自撮りで。治療は自前というわけにはいかないが、予防には役立つ。

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米カリフォルニア大学ロサンゼルス校、中国・清華大学、南京大学、アイルランド国立大学ダブリン校による研究チームが開発した「OralCam」は、スマートフォンで口の中を自撮りして歯の検査ができる、深層学習を用いたモバイルアプリだ。

スマートフォンと歯科用マウスオープナーで自己検査用の口腔写真を撮影している様子

　アプリの起動後、ユーザーは衛生習慣や病歴に関する質問に答え、歯科用マウスオープナーを使って口を開け、口腔内の写真を複数枚、異なる角度から撮影する。

　アプリは、取得した画像から歯周病、う蝕、ソフトデポジット（柔らかい沈着物）、歯石、歯の変色の5つの症状を検出する。

（a）歯周病、（b）う蝕、（c）ソフトデポジット、（d）歯石、（e）歯の変色

　検査結果は、写真内の症状がある領域にヒートマップやバウンディングボックスなどで直接描画される。例えば、歯周病領域は赤い四角で囲み、ソフトデポジットや歯の変色領域はヒートマップで表示し温度が高いほどその症状との関連性が高いことを示す。

OralCamを用いた検査結果。（左列）入力画像（右列）検査結果。緑枠が歯周病、黒枠が歯石、青枠がう蝕、ヒートマップはソフトデポジット

　描画された領域に対して、疾患の種類ごとに罹患の可能性を3つのレベルで表示する。検出した結果から、症状に応じた治療や予防処置の提案も行う。例えばフロスの使用や食後の口洗い、食物繊維を含む食品を多めに摂取するなど。これらの提案は、歯科の専門家との議論を経て導き出したものだという。症状が出た領域をタップすると疾患情報が表示されるため、該当部分の画像を参照しながら知識が得られる。

インタフェースを備えたOralCamのワークフロー

　一度の撮影で多様な情報が表示されるが、痛みや出血などアプリ側が見落としてしまう症状もある。その場合は自分で後から情報を追加することになる。追加した情報は、精度を向上させるために特徴マップとしてモデルに組み込まれる。

　症状を検出するモデルには、画像ベースの深層学習フレームワークDCNN（Deep Convolutional Neural Network）が用いられる。モデルの学習には、3182枚の口腔内画像と歯科専門家による詳細なアノテーションからなるデータセットを使用。学習したモデルは、平均検出感度78%を達成している。

口腔内状態を検出のためのDCNNモデル