“マジックハンド”で家事用ロボットに動きを覚えさせるフレームワーク 米Metaなどが開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

Twitter: ＠shiropen2

　米ニューヨーク大学と米Metaに所属する研究者らが発表した論文「On Bringing Robots Home」は、iPhone付きのマジックハンド（リーチャーグラバー）で家事用ロボットを容易に教育するフレームワークを提案する研究報告である。

（上）ユーザーがiPhone付きマジックハンドで見本を撮影、（下）その情報を学習し、ロボットが実行

　この研究の目的は、さまざまな家庭で基本的な家庭用タスクを実行できるロボットを開発することである。これを実現するためには、現在のロボット工学の研究パラダイムの転換が必要であり、主に工業環境や研究室で行われている現行の研究では、物体、シーン、照明条件が厳密に管理されている。

　しかし、家庭内でのロボットの性能は、研究室での性能に比べて劣ることがある。より複雑で汎用的なタスクをこなすロボットシステムを構築するためには、研究室でのロボティクスにおける多くの基本的な前提を再検討する必要がある。家庭ごとに異なる要求に応えるため、ロボットに簡単に動作を教える方法の開発が重要である。

　この課題に対して、この研究では家庭内でロボット操作を学習するための、手頃な価格で汎用性の高いシステム「Dobb-E」を提案している。Dobb-Eは、デモンストレーション収集ツール「The Stick」を通じてロボットに作業方法を教える。

　The Stickは、手頃な価格のリーチャーグラバー、3Dプリントした部品、iPhoneを組み合わせたもので、iPhoneのカメラ機能を利用して、リーチャーグラバーの先端での操作を撮影する。これにより、ユーザーのデモンストレーション（見本の動き）から新しいタスクを撮影し、その動きをモデルに学習させられる。

（A）iPhoneが搭載したマジックハンド、（B）iPhoneを装着させた、Hello Robot製「Stretch」

　Hello Robot製のロボット「Stretch」を使用してデモンストレーションを収集し「Homes of New York」（HoNY）と呼ばれる13時間分のデータセットを作成。これには、22軒のニューヨークの家庭で216の環境から得られた5620のデモンストレーションが含まれており、システムの適応性を強化する。このデータセットは、Dobb・Eの表現モデルの事前学習に使用される。

さまざまな家庭で収録されたデモンストレーションのデータセット

　事前学習データセットを用いて、自己教師あり学習で「Home Pretrained Representations」（HPR）をトレーニングしている。新しいタスクではわずか24回のデモでモデルを微調整し、3D推論ができる。

Dobb-Eの概要

新しいタスクを短時間で学習させることが可能

　Stretchを使用して、ニューヨーク市及び周辺地域の家庭で約30日間実験を行い、10軒の家庭で109のタスクをテストし、81％の成功率を達成した。

Source and Image Credits: Shafiullah, N. M. M., Rai, A., Etukuru, H., Liu, Y., Misra, I., Chintala, S., & Pinto, L.（2023）. On Bringing Robots Home. arXiv preprint arXiv:2311.16098.