Innovative Tech

2台のロボットを1人で同時に操作し卓球ができるのか？　ソニーCSLと慶應大が実験

公開 2021年12月28日 08時01分

著者

山下裕毅

[ITmedia]

印刷する

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　ソニーコンピュータサイエンス研究所（ソニーCSL）Superceptionプロジェクトと慶應義塾大学大学院メディアデザイン研究科の研究チームがムーンショット研究開発事業の一環として開発した「Parallel Ping-Pong: Demonstrating Parallel Interaction through Multiple Bodies by a Single User」は、1人のプレイヤーが2台のロボットアームを駆使し、2つのコートで同時に卓球をプレイするシステムだ。1人が複数の身体を同時に操作できるかを検証した。

1人で2台のロボットアームを操作し、2台のテーブルで2人と同時に卓球している様子

　システムは、4台（片方の卓球台に2台）のAzure Kinectと先端に卓球のラケットを搭載した2台のロボットアーム、4つのXimea MQ013CG-ONカメラによるピンポン玉追跡装置で構成する。

　プレイヤーはVR HMD（ヘッドマウントディスプレイ）とVRコントローラーを装着し、2台のロボットアームを同時に操作する。VRコントローラーを持った手や腕を動かすことで、ラケットの向きや位置を瞬時に変更できる。

　VR HMDでは、ピンポン玉の位置や方向に応じて、どちらか一方のロボットアームの姿を含むテーブルを映し出す。映像は、Azure Kinectで取得した点群を1フレームごとにレンダリング。映し出す映像は、ピンポン玉がロボットアームにより近づいてきた方を優先する。打つ状況に差し迫った方へ動的に視点移動が自動で行われるわけだ。

左の緑テーブルでピンポン玉を打ち返すと、次に右の青テーブルでピンポン玉が向かってくるため、自動で青テーブルに視点が切り替わる

　しかし、映像が切り替わる中でピンポン玉を打ち返すのは非常に難しい。単純に2台同時打ちが難しい上、VRコントローラーとロボットアームの動きに遅延が生じているのが要因だ。

　そこで、プレイヤーの作業負荷とシステムの遅延を減らすため、ピンポン玉の軌道を計算し、推定したヒットポイントに自動でロボットアームが移動する設定を組み込んだ。これにより自動でロボットアームの適切な配置をしてくれるが、プレイヤーの手の動きとは常に連動しているため、主体性を損なうことなく、最後の一押しによる打ち返しが行える。

カメラがピンポン玉を追跡し、次のヒットポイントを推定しロボットアームが自動で移動する

　2021年12月に東京で開催された、SIGGRAPH Asia 2021 Emerging Technologiesにて体験デモを行った。

SIGGRAPH Asia 2021 Emerging Technologiesでの体験デモの様子

Source and Image Credits: Kazuma Takada, Midori Kawaguchi, Yukiya Nakanishi, Akira Uehara, Mark Armstrong, Adrien Verhulst, Kouta Minamizawa, and Shunichi Kasahara. 2021. Parallel Ping-Pong: Demonstrating Parallel Interaction through Multiple Bodies by a Single User. In SIGGRAPH Asia 2021 Emerging Technologies (SA '21 Emerging Technologies). Association for Computing Machinery, New York, NY, USA, Article 12, 1-2. DOI:https://doi.org/10.1145/3476122.3484836

印刷する