ARでドローンを操作 東北大学が「PinpointFly」開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　東北大学の研究チームが2019年11月に発表した「PinpointFly」は、ドローンの飛行をARでリアルタイムに制御するインタフェースシステムだ。

　ドローンを目視で制御する場合、機体を視認しながら、ドローンを中心とする座標軸で操作するのが一般的。その場合、機体の奥行きなどの3次元空間での位置を正確に把握しなければならず、ドローンの向きにも常に注意を払う必要がある。初心者にとっては直感的ではない。

　そこで本システムは、初心者でも簡単かつ正確に操作できるARを用いたドローン制御法を提案する。操作は、モバイルディスプレイ越しに飛行中のドローンを見て、そのドローンの移動先を入力するのみ。

　ディスプレイにはバーチャルドローンを表示。その真下の地面に描かれる赤い矢印が空中に浮くドローンの影に相当し、ドローンの位置を把握しやすくする。ユーザーは、これをドラッグ操作して、ドローンの次の移動先の位置を指定する。画面下部のスライダバーを動かしてドローン本体の向きも指定。加えて画面右側のスライダバーによってドローン本体の高さを調整する。これにより3次元の位置決めができる。

バーチャルドローンの位置決めをする様子。赤い矢印を希望の位置下にドラックし、右のスライダバーを動かして高さを調整する

　4種類の操作方法を紹介している。

（a）DragFly：ドローンの目的地にバーチャルドローンを移動させるとドローン本体は後から自動追従し移動する。

（b）PointFly：ドローンの目的地にバーチャルドローンを移動させ、Goのスイッチをタップすると指定した位置へドローン本体が移動する。

（c）TrajectoryFly：ドローンを飛行経路を指定し、Goのスイッチをタップすると経路通りにドローン本体が移動する。

（d）WaypointFly：ドローンの目的地までの経由点を連続的に指定し、Goのスイッチをタップすると指定した位置を順番通りに移動する。

PinpointFlyの4種類の操作方法

　プロトタイプでは、床に接地したQRコードベースのマーカーとドローンに取り付けた底面カメラでドローン本体の3次元位置をトラッキングする（Optitrackを用いたトラッキングでも代用可能）。

　ドローンの底面カメラからキャプチャーした画像を、ワイヤレス伝送でサーバにストリーミング。サーバ上でOpenCV Acucoアルゴリズムを使用して、マーカー配置に基づいてドローンの位置と方向を計算する。モーションコマンドとFPVビデオストリームもWi-Fiで伝送する。

QRコードベースのマーカーを用いたPinpointFlyプロトタイプ。ドローンに搭載の底面カメラ（緑が視野エリア）で検出する

　こうすることで、ユーザーは精密なドローン操作を直感的に行える。例えば、脚立に登って天井の電気工事している人の目の前に、工具をドローンで運ぶことも可能。モバイル機器を持ったまま廊下を移動し、同時に飛行経路も指定するなど、長距離飛行も思い通りに行える。マーカーを設置できれば野外での制御も可能だ。

ドローンに搭載したモニターを見ながら脚立の上で作業している様子

　特にドローンの動きに奥行きの動きや複数の回転が含まれる場合、従来のジョイスティックコントローラーよりも優れていることを実証した。