Innovative Tech

スマートフォン表示のAR物体を手づかみ　ブラウン大学など「Portal-ble」開発

　米ブラウン大学と中国の東南大学が10月に発表した「Portal-ble」は、スマートフォンの画面に表示したAR（拡張現実）コンテンツを手で操作できるようにするシステムだ。ユーザーがARオブジェクトを手でつかんだり、移動させたりなどのやりとりができる。

　Portal-bleは、スマートフォン、ハンドトラッカーのLeap Motion、計算ユニットで構成する。スマートフォンの背面にLeap Motionを固定、小型のポータブルコンピュータへ接続する。Leap Motionはスマートフォンを直接サポートできないため、追跡データをモバイルホットスポット経由でスマートフォンにワイヤレスで転送する。

　システムを実装するには（1）スマートフォンの後ろの腕の届く範囲、（2）ナビゲートするユーザーの周囲の物理的環境──という2つのインタラクションスペースの調整が必要だ。

　2つ目のスペースでは、アクティブな手の追跡は行わないが、ユーザーがそこに移動したときにインタラクションできるようにあらかじめ調整しておく。このように、空間を分割し調整することで、ユーザーにとっての携帯性を確保しながら、手の届かない場所にあるオブジェクトの操作機能を連続的に維持する。

　ARCoreフレームワークなどに対応したスマートフォン用空間把握アプリが使用できる場合は、Leap Motionと組み合わせて両方のキャリブレーションからオブジェクトの位置を推定する。

ユーザーとオブジェクトの距離、インタラクション状態の変化を視覚、聴覚、触覚フィードバックで提示

　目的のオブジェクトがつかめる距離にあるかは、2段階の視覚フィードバックで示す。オブジェクトがユーザーの手の届かない距離にある場合、ホイールは緑色になり、手で届く距離（人間の腕の平均長さである75センチに設定）になると青色に変わる。

　また、オブジェクトをつかんだかどうかも、2段階の視覚フィードバックで示す。オブジェクトにユーザーの手が触れると、周囲に緑色の太い輪郭線を表示して、オブジェクトを操作できる状態になったことを示し、ユーザーがオブジェクトをつかむと、輪郭線が青色に変わる。

　さらに、ユーザーとオブジェクトの間の物理的な距離推定にサウンドフィードバックも利用する。ユーザーがオブジェクトに近づくと、サウンドフィードバックメカニズムによって再生テンポが速まり、オブジェクトに近づいたことを示す。

　触覚フィードバックにより、オブジェクトをつかんだかどうかも提示。オブジェクトをつかむとスマートフォンから振動が発生して、インタラクション状態の変化を示す。オブジェクトが別のオブジェクトと衝突したときにも発動する。

この記事の著者

関連記事

• 

  粘着力でフィードバックする触覚ディスプレイは、納豆も再現可能？　阪大と東北大の「StickyTouch」

• 

  NVIDIA、1枚の静止画で動きを合成　GANを用いた手法を開発　ダビデ像も踊り出す

• 

  人からロボットへ自然に手渡し、フェイントにも対応　ディズニーが技術開発