スマートフォン表示のAR物体を手づかみ ブラウン大学など「Portal-ble」開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米ブラウン大学と中国の東南大学が10月に発表した「Portal-ble」は、スマートフォンの画面に表示したAR（拡張現実）コンテンツを手で操作できるようにするシステムだ。ユーザーがARオブジェクトを手でつかんだり、移動させたりなどのやりとりができる。

Portal-bleを使用しオブジェクトをつかんでいる様子

　Portal-bleは、スマートフォン、ハンドトラッカーのLeap Motion、計算ユニットで構成する。スマートフォンの背面にLeap Motionを固定、小型のポータブルコンピュータへ接続する。Leap Motionはスマートフォンを直接サポートできないため、追跡データをモバイルホットスポット経由でスマートフォンにワイヤレスで転送する。

A：Portal-bleプロトタイプ、B：プロトタイプを使用中、C：ハードウェアのコンポーネント

　システムを実装するには（1）スマートフォンの後ろの腕の届く範囲、（2）ナビゲートするユーザーの周囲の物理的環境──という2つのインタラクションスペースの調整が必要だ。

　2つ目のスペースでは、アクティブな手の追跡は行わないが、ユーザーがそこに移動したときにインタラクションできるようにあらかじめ調整しておく。このように、空間を分割し調整することで、ユーザーにとっての携帯性を確保しながら、手の届かない場所にあるオブジェクトの操作機能を連続的に維持する。

　ARCoreフレームワークなどに対応したスマートフォン用空間把握アプリが使用できる場合は、Leap Motionと組み合わせて両方のキャリブレーションからオブジェクトの位置を推定する。

ユーザーとオブジェクトの距離、インタラクション状態の変化を視覚、聴覚、触覚フィードバックで提示

　目的のオブジェクトがつかめる距離にあるかは、2段階の視覚フィードバックで示す。オブジェクトがユーザーの手の届かない距離にある場合、ホイールは緑色になり、手で届く距離（人間の腕の平均長さである75センチに設定）になると青色に変わる。

緑：ユーザーの手の届かない距離にオブジェクトがある視覚フィードバック、青：ユーザーの手の届く距離にオブジェクトがある視覚フィードバック

　また、オブジェクトをつかんだかどうかも、2段階の視覚フィードバックで示す。オブジェクトにユーザーの手が触れると、周囲に緑色の太い輪郭線を表示して、オブジェクトを操作できる状態になったことを示し、ユーザーがオブジェクトをつかむと、輪郭線が青色に変わる。

緑：オブジェクトに手が触れた状態、青：オブジェクトをつかんだ状態

フリーハンドインタラクションのための視覚フィードバック（A）ユーザーが遠く離れているケース（B）近づく（C）オブジェクトに届く範囲（D）ユーザーの手がオブジェクトに近づく（E）触る（F）つかむ

　さらに、ユーザーとオブジェクトの間の物理的な距離推定にサウンドフィードバックも利用する。ユーザーがオブジェクトに近づくと、サウンドフィードバックメカニズムによって再生テンポが速まり、オブジェクトに近づいたことを示す。

オブジェクトに近づくにつれ速いテンポで音が再生される

　触覚フィードバックにより、オブジェクトをつかんだかどうかも提示。オブジェクトをつかむとスマートフォンから振動が発生して、インタラクション状態の変化を示す。オブジェクトが別のオブジェクトと衝突したときにも発動する。

オブジェクトをつかんだ状態ではスマートフォンが振動する