複数のタブレットアームスタンドでデバイスを連携 角度を変えるだけで画面を切り替え：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米Microsoft ResearchとスイスのETH Zurich、米Autodesk Research、米ワシントン大学、米カリフォルニア大学バークレー校による研究チームが開発した「AirConstellations: In-Air Device Formations for Cross-Device Interaction via Multiple Spatially-Aware Armatures」は、タブレットやラップトップを支えるアームスタンドをベースとした、マルチデバイスの連携を実現するためのワークスペース・プラットフォームだ。

センサー類を搭載しカスタマイズしたアームスタンド

マルチデバイスで3人とビデオ会議をしている様子

　テレワークになり、作業用デスクの設置、それに伴ってモニターやタブレットを増やした人もいるだろう。デスク上の複数のモニターを空間的に追跡し、連携できるようにしたのが「AirConstellations」と呼ぶ今回の手法だ。市販のタブレットアームスタンドにセンサーなどを取り付け、デバイスの空間的な位置や向きを測定し、7自由度モデルとしてワークスペース周辺のデバイスの連携を行う。

　アームスタンドには、マイコンと慣性計測ユニット（IMU）4つ、回転センサー2つが取り付けられる。IMUは、アームの関節部分にそれぞれ整備し、これらから得られる各関節の追跡情報を統合することで、デバイスの位置を正確に特定する。机上では、2〜5台のデバイスを統合するスケールを想定している。

ハードウェアとソフトウェアの概要図

　センサーを増強することで、センサー駆動型のアプリケーションの動作に新たな可能性が生まれる。例えば、デバイスを同一空間で使用する、クロスデバイス・インタラクションが挙げられる。

　これはデバイス間で簡単な操作によってウィンドウやコンテンツ、アプリなどを共有する、シームレスなデータ移動や統合を指す。操作方法も、指でタッチした状態で送りたいデバイスの方向にスライドさせるだけの直感的なユーザーインタフェースになっている。タブレットをつかんでアームを動かすことでも入力を行える。

　この手法を使った応用シナリオとして、相手の顔が映る画面をそれぞれのタブレットにワンタッチに移動させ、相手3人に囲まれながらビデオ会議を行う例が紹介される。また個人会話をしたい相手とは、その相手が映るタブレットのアームの角度を変えると行える。

　他にもデータ分析のためにタブレット同士をつなげて大きな表を作ったり、双方向のデータのやりとりで生産性を向上させたりなどのアプリケーション例を紹介している。

複数人とのビデオ会議中、その1人と個人会話したい場合は、タブレットの角度を変えて手前に持ってくることで自動的に切り替わる

ラップトップ内のウィンドウを指先のスライド動作で手前のタブレットに引き抜いている様子

1枚の画像を3枚のタブレットで共有している様子

物理的にデバイス同士を重ねる方法でウィンドウを共有している様子

Source and Image Credits: Nicolai Marquardt, Nathalie Henry Riche, Christian Holz, Hugo Romat, Michel Pahud, Frederik Brudy, David Ledo, Chunjong Park, Molly Jane Nicholas, Teddy Seyed, Eyal Ofek, Bongshin Lee, William A.S. Buxton, and Ken Hinckley. 2021. AirConstellations: In-Air Device Formations for Cross-Device Interaction via Multiple Spatially-Aware Armatures. The 34th Annual ACM Symposium on User Interface Software and Technology. Association for Computing Machinery, New York, NY, USA, 1252-1268. DOI:https://doi.org/10.1145/3472749.3474820