投影画像を指で動かす、つまむ──ソニーが技術開発 指が重なっても高精度で検知:Innovative Tech
指の「重なり」による誤検知を回避できる技術をソニーが開発した。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
ソニーとSony China Research Laboratoryの研究チームが11月に発表した卓上投影システムは、精密なハンドインタラクション(タッチジェスチャーと空中ジェスチャー)が可能だ。
卓上投影システムのタッチと空中のインタラクション、(a)オブジェクトにタッチして移動、(b)オブジェクトを線をスケッチして囲む、(c)2本の指でオブジェクトをつまむ、(d)空中で2本の指をつまんでオブジェクトをドラッグ、(e)指差した先をポインターとしてオブジェクトをリモート操作
従来のカメラベースによるハンドインタラクションは、自分の指や手が重なり(オクルージョン)、精密なインタラクションができないという課題があった。新技術は、このオクルージョンを回避できる。
この卓上プロジェクターシステムでは、机から約1メートル上にフルHDレーザープロジェクターと深度カメラ、PCを接続している。
実行時は、深度マップを取得し、テーブルとオブジェクトの領域をセグメント化。CNN(Convolutional Neural Network)を活用して手とオブジェクトを区別し、指先、指の関節、手のひらの中心などの3D姿勢を推定する。それらに基づいて、背景と比較し、タッチなどの動作を検出する。
また別のCNNによって、手がパーの状態、1本の指でタッチ、2本の指でつまむ、空中から指を差す──という4つの状態を区別する。
パー以外の状態は、指先のオクルージョンが比較的発生しづらく、精密な操作に使いやすいようにデザインされている。
4つの状態から、1本の指で机にタッチして行うオブジェクト移動やスケッチ、2〜5個のオブジェクトへのマルチタッチ、つまんで拡大・縮小──といった動作が可能。同様の動作は、空中でも行える。このように卓上のオブジェクトと手の姿勢を検出し、タッチ操作と空中での操作を切り替えながら、オクルージョンを回避した精密なインタラクションができる。
この手法は必ずしも卓上だけでなく、部屋規模の投影やARグラスなど、他のカメラベースのハンドインタラクションシステムにも応用が可能だ。
関連記事
- スマートフォン表示のAR物体を手づかみ ブラウン大学など「Portal-ble」開発
Leap Motionとスマートフォンを組み合わせてハンドトラッキングとフィードバックを効果的に実現。 - 粘着力でフィードバックする触覚ディスプレイは、納豆も再現可能? 阪大と東北大の「StickyTouch」
ペルチェ素子を使い粘着力を変化させる技術。新たな触角フィードバックが得られる。 - タッチパネルに透明シートで、ジョイスティック的な操作可能に 東北大と芝浦工大が開発
重ねた透明シートを指でずらすことで、速度制御が簡単になる。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.