ITmedia NEWS > AI+ >

「あの人、角を曲がった先でどんな格好してるだろう」を推定する技術 カーネギーメロン大学が開発Innovative Tech

» 2020年08月12日 09時08分 公開
[山下裕毅ITmedia]

Innovative Tech:

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

 米カーネギーメロン大学の研究チームが開発した「Optical Non-Line-of-Sight Physics-based 3D Human Pose Estimation」は、障害物で見通せない角を曲がった先にいる人の3次元姿勢を推定する手法だ。

photo NLOS(Non-line-of-sight )イメージングと強化学習フレームワークを用いて、障害物で見えない人の3次元姿勢を推定する

 障害物で見えない角を曲がった人を捉えるために、パルスレーザーと飛行時間型(ToF)センサーを用いたNLOS(Non-line-of-sight)イメージングを使用している。

 NLOSイメージングとは、壁などの面にレーザー光を反射させ、物体に当たって帰ってきた光の移動時間を測定した、空間領域と時間の両方を捉えた計測情報(Transient Image)からシーンの3Dジオメトリ(Albedo)を復元する技術である。

 取得した計測情報から、人の動きを3次元で再構築するのがこの手法の目的。しかし、既存のNLOSでは、空間と時間の両方で画像の解像度が制限され、また反射後の光も分散して少なくなるため、人の3次元姿勢を推定のに必要な詳細画像や動きは不足する。

 この問題を解決するために、人の基本構造や運動法則を取り入れた強化学習ベースのフレームワークを使う。ヒューマノイドモデルを用いた物理シミュレーション環境で、NLOSで取得した画像から人の3次元姿勢を推定できる制御ポリシーを訓練し、精度を向上させる。

photo 強化学習ベースのフレームワーク

 訓練したモデルを使用することで、NLOSで取得した画像を入力に用いると、物理法則に従った、人の3次元姿勢の推定を出力できるようになる。実験では、歩き回る、手を上げる、腰をそらす、膝の屈伸、ジャンプなどの基本動作を捉えることに成功した。

photo (上)障害物で直接見えない曲がった先の人の動き (下)本手法を用いて3次元姿勢を推定した出力結果

 自動運転車で死角の人物を事前に認識して事故防止に役立てる、家庭用ロボットで家のコーナーでの衝突を回避する、などへの応用が考えられるだろう。

Copyright © ITmedia, Inc. All Rights Reserved.