Innovative Tech

角膜に写る自分の姿から、スマートフォンの持ち方を特定する技術　慶應大などのチームが開発

公開 2022年04月28日 08時01分

著者

山下裕毅

[ITmedia]

印刷する

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　慶應義塾大学 lifestyle Computing Labの張翔さん、杉浦裕太さん、Yahoo! JAPAN研究所の池松香さん、東京工科大学の加藤邦拓さんによる研究チームが開発した「角膜反射像を利用したスマートフォンの把持姿勢推定」は、ユーザーの角膜に写るスマートフォンの像をインカメラで取得し、操作しているスマートフォンの持ち方を識別する技術だ。角膜に写るスマートフォンと操作する指の影から、現在の持ち方を深層学習で特定する。

インカメラで撮影すると、角膜にスマートフォンと操作する指が写る

　ユーザーがスマートフォンをどのように持って、どの指で操作しているかの情報は、開発側にとって役に立つ。把持姿勢に合わせた画面表示や操作ボタン位置の自動切り替え、アプリや機能を自動で立ち上げるなどのユーザーインタフェースの改善に生かせるからだ。

　研究チームは、スマートフォンを操作する際に、目の角膜にスマートフォンの画面の光が反射して像が写る現象に着目した。ユーザーが画面に指を置いている部分は影となって欠けることを考慮すれば、持ち方を識別できると考えた。

　スマートフォンの内蔵するインカメラで顔写真を自撮りし、収集した顔写真からCNN（Convolutional Neural Network）でスマートフォンの持ち方の学習および識別を行う。今回は、6種類（両手横持ち・両親指操作、両手縦持ち・両手親指操作、左手持ち・左手親指操作、右手持ち・右手親指操作、左手持ち・右手人差し指操作、右手持ち・左手人差し指操作）の持ち方を対象とした。

この手法の概要

　学習を行うため、iPhone向けのアプリを実装し、さまざまな輝度で6種類の持ち方を撮影。取得したデータから前処理として、角膜部分の切り取り、明るさやコントラストの調整、データ拡張を行った。

　被験者13人で行った実験結果は、平均85％の精度で6種類の持ち方を識別。特に、両手横持ちに関しては適合率と再現率がともに最も高かった。右手で持っている条件と左手で持っている条件間では指の像の欠け方が大きく変わるため精度が高く、それに対し、親指と人差し指のどちらで操作しているかの条件については指の像の欠け方に大きな影響を及ぼさないため精度が低かった。

　今後は、親指と人差し指での操作を高精度で分類するために、画像に加えて動画の撮影や音を使ったセンシングなどで指の動きを捉える方法を組み合わせたいという。