“ARお絵かき”が進化？ 現実に置かれた物体と連動する技術「RealitySketch」 Adobeなど開発：Innovative Tech

現実とバーチャルのインタラクションを簡単に行えるようにする取り組み。

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　カナダ・カルガリー大学、米AdobeのResearch部門、米コロラド大学ボルダー校による研究チームが開発した「RealitySketch」は、スケッチしたARコンテンツと物理オブジェクトが連動し、動的な相互作用を可能にするツールだ。

RealitySketchを使うと、振り子の動きのような物理現象をARコンテンツでリアルタイムに視覚化できる

　現実世界上にARでスケッチする場合、スケッチした後のオブジェクトは浮いたままか、せいぜい自動アニメーションが再生されるくらいだった。RealitySketchは、スケッチした後に現実世界の物を動かすと、ARコンテンツが連動して動作する仕組みだ。

手の動きと荷重の距離を測定し、グラフで滑車の力を可視化。移動する人が上に投げたボールの重力と慣性力を可視化する

　最初に追跡したい物理オブジェクトを選択しトラッキングを開始、次に線や円弧を描くことで現実世界をパラメーター化し要素間を関連付けることで、長さや角度など物理オブジェクトが移動したときのARコンテンツの動作を定義する。これにより、実際に物理オブジェクトを操作した際に、ARコンテンツも連動して動作するようになる。

動きを記録し姿勢を視覚化することでリハビリテーション支援を行う

　現実世界での表面検出とオブジェクト配置の両方にAppleのARKitとSceneKitを活用。このフレームワークを使うため、プロトタイプはiOSをサポートするモバイルデバイス上で構築する。

バーチャルキャラクターのコントローラーとして物理オブジェクトを使用する例

　このツールの活用例として、滑車や台車などで移動距離や軌跡を視覚化し理解を深める教育ツール、身体の角度やボールの軌跡を視覚化することでスポーツやエクササイズの動きを解析する分析ツール、バーチャルキャラクター制御での動的パラメーター利用などを挙げている。