ITmedia NEWS > AI+ >
ニュース
» 2019年12月26日 09時00分 公開

Innovative Tech:投影画像を指で動かす、つまむ──ソニーが技術開発 指が重なっても高精度で検知

指の「重なり」による誤検知を回避できる技術をソニーが開発した。

[山下裕毅,ITmedia]

Innovative Tech:

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

 ソニーとSony China Research Laboratoryの研究チームが11月に発表した卓上投影システムは、精密なハンドインタラクション(タッチジェスチャーと空中ジェスチャー)が可能だ。

photo 卓上投影システムのタッチと空中のインタラクション、(a)オブジェクトにタッチして移動、(b)オブジェクトを線をスケッチして囲む、(c)2本の指でオブジェクトをつまむ、(d)空中で2本の指をつまんでオブジェクトをドラッグ、(e)指差した先をポインターとしてオブジェクトをリモート操作

 従来のカメラベースによるハンドインタラクションは、自分の指や手が重なり(オクルージョン)、精密なインタラクションができないという課題があった。新技術は、このオクルージョンを回避できる。

 この卓上プロジェクターシステムでは、机から約1メートル上にフルHDレーザープロジェクターと深度カメラ、PCを接続している。

photo (左)システムのハードウェア構成、(右)手の認識とインタラクションモードの決定プロセスの概要

 実行時は、深度マップを取得し、テーブルとオブジェクトの領域をセグメント化。CNN(Convolutional Neural Network)を活用して手とオブジェクトを区別し、指先、指の関節、手のひらの中心などの3D姿勢を推定する。それらに基づいて、背景と比較し、タッチなどの動作を検出する。

 また別のCNNによって、手がパーの状態、1本の指でタッチ、2本の指でつまむ、空中から指を差す──という4つの状態を区別する。

 パー以外の状態は、指先のオクルージョンが比較的発生しづらく、精密な操作に使いやすいようにデザインされている。

photo 上段行:定義された手の姿勢、下段行:操作方法とインタラクション効果

 4つの状態から、1本の指で机にタッチして行うオブジェクト移動やスケッチ、2〜5個のオブジェクトへのマルチタッチ、つまんで拡大・縮小──といった動作が可能。同様の動作は、空中でも行える。このように卓上のオブジェクトと手の姿勢を検出し、タッチ操作と空中での操作を切り替えながら、オクルージョンを回避した精密なインタラクションができる。

 この手法は必ずしも卓上だけでなく、部屋規模の投影やARグラスなど、他のカメラベースのハンドインタラクションシステムにも応用が可能だ。

Copyright © ITmedia, Inc. All Rights Reserved.