スマートフォン表示のAR物体を手づかみ ブラウン大学など「Portal-ble」開発:Innovative Tech
Leap Motionとスマートフォンを組み合わせてハンドトラッキングとフィードバックを効果的に実現。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
米ブラウン大学と中国の東南大学が10月に発表した「Portal-ble」は、スマートフォンの画面に表示したAR(拡張現実)コンテンツを手で操作できるようにするシステムだ。ユーザーがARオブジェクトを手でつかんだり、移動させたりなどのやりとりができる。
Portal-bleは、スマートフォン、ハンドトラッカーのLeap Motion、計算ユニットで構成する。スマートフォンの背面にLeap Motionを固定、小型のポータブルコンピュータへ接続する。Leap Motionはスマートフォンを直接サポートできないため、追跡データをモバイルホットスポット経由でスマートフォンにワイヤレスで転送する。
システムを実装するには(1)スマートフォンの後ろの腕の届く範囲、(2)ナビゲートするユーザーの周囲の物理的環境──という2つのインタラクションスペースの調整が必要だ。
2つ目のスペースでは、アクティブな手の追跡は行わないが、ユーザーがそこに移動したときにインタラクションできるようにあらかじめ調整しておく。このように、空間を分割し調整することで、ユーザーにとっての携帯性を確保しながら、手の届かない場所にあるオブジェクトの操作機能を連続的に維持する。
ARCoreフレームワークなどに対応したスマートフォン用空間把握アプリが使用できる場合は、Leap Motionと組み合わせて両方のキャリブレーションからオブジェクトの位置を推定する。
ユーザーとオブジェクトの距離、インタラクション状態の変化を視覚、聴覚、触覚フィードバックで提示
目的のオブジェクトがつかめる距離にあるかは、2段階の視覚フィードバックで示す。オブジェクトがユーザーの手の届かない距離にある場合、ホイールは緑色になり、手で届く距離(人間の腕の平均長さである75センチに設定)になると青色に変わる。
また、オブジェクトをつかんだかどうかも、2段階の視覚フィードバックで示す。オブジェクトにユーザーの手が触れると、周囲に緑色の太い輪郭線を表示して、オブジェクトを操作できる状態になったことを示し、ユーザーがオブジェクトをつかむと、輪郭線が青色に変わる。
さらに、ユーザーとオブジェクトの間の物理的な距離推定にサウンドフィードバックも利用する。ユーザーがオブジェクトに近づくと、サウンドフィードバックメカニズムによって再生テンポが速まり、オブジェクトに近づいたことを示す。
触覚フィードバックにより、オブジェクトをつかんだかどうかも提示。オブジェクトをつかむとスマートフォンから振動が発生して、インタラクション状態の変化を示す。オブジェクトが別のオブジェクトと衝突したときにも発動する。
関連記事
- 粘着力でフィードバックする触覚ディスプレイは、納豆も再現可能? 阪大と東北大の「StickyTouch」
ペルチェ素子を使い粘着力を変化させる技術。新たな触角フィードバックが得られる。 - NVIDIA、1枚の静止画で動きを合成 GANを用いた手法を開発 ダビデ像も踊り出す
ダビデは踊り、モナリザは表情を変える。 - 人からロボットへ自然に手渡し、フェイントにも対応 ディズニーが技術開発
驚くほどスムーズな受け渡しが、人からロボットへ行われる。その仕組みとは……。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.