投影画像を指で動かす、つまむ──ソニーが技術開発 指が重なっても高精度で検知：Innovative Tech

指の「重なり」による誤検知を回避できる技術をソニーが開発した。

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　ソニーとSony China Research Laboratoryの研究チームが11月に発表した卓上投影システムは、精密なハンドインタラクション（タッチジェスチャーと空中ジェスチャー）が可能だ。

卓上投影システムのタッチと空中のインタラクション、（a）オブジェクトにタッチして移動、（b）オブジェクトを線をスケッチして囲む、（c）2本の指でオブジェクトをつまむ、（d）空中で2本の指をつまんでオブジェクトをドラッグ、（e）指差した先をポインターとしてオブジェクトをリモート操作

　従来のカメラベースによるハンドインタラクションは、自分の指や手が重なり（オクルージョン）、精密なインタラクションができないという課題があった。新技術は、このオクルージョンを回避できる。

　この卓上プロジェクターシステムでは、机から約1メートル上にフルHDレーザープロジェクターと深度カメラ、PCを接続している。

（左）システムのハードウェア構成、（右）手の認識とインタラクションモードの決定プロセスの概要

　実行時は、深度マップを取得し、テーブルとオブジェクトの領域をセグメント化。CNN（Convolutional Neural Network）を活用して手とオブジェクトを区別し、指先、指の関節、手のひらの中心などの3D姿勢を推定する。それらに基づいて、背景と比較し、タッチなどの動作を検出する。

　また別のCNNによって、手がパーの状態、1本の指でタッチ、2本の指でつまむ、空中から指を差す──という4つの状態を区別する。

　パー以外の状態は、指先のオクルージョンが比較的発生しづらく、精密な操作に使いやすいようにデザインされている。

上段行：定義された手の姿勢、下段行：操作方法とインタラクション効果

　4つの状態から、1本の指で机にタッチして行うオブジェクト移動やスケッチ、2〜5個のオブジェクトへのマルチタッチ、つまんで拡大・縮小──といった動作が可能。同様の動作は、空中でも行える。このように卓上のオブジェクトと手の姿勢を検出し、タッチ操作と空中での操作を切り替えながら、オクルージョンを回避した精密なインタラクションができる。

　この手法は必ずしも卓上だけでなく、部屋規模の投影やARグラスなど、他のカメラベースのハンドインタラクションシステムにも応用が可能だ。