ARとウェアラブル端末で点検作業を支援 三菱電機が新技術

[濱口翔太郎，ITmedia]

　三菱電機は、ビルや発電所・鉄道など社会インフラのメンテナンス作業を、ウェアラブル端末と拡張現実（AR）を活用して簡略化するシステムを開発した。音声認識により、騒音がある現場でも音声で点検結果を記録できる技術も組み合わせ、作業員の負荷軽減とミスを抑制するのが狙いだ。

点検箇所が一目で分かり、口頭で結果を記録

　作業員がゴーグル型のウェアラブル端末を着用すると、点検が必要な箇所と順序を、実際の設備上に重ねて表示するAR技術で強調し、点検もれを防止する。

ゴーグルごしに見た配電盤＝左、ゴーグルの画面表示の様子＝右

　点検手順のデータベースから、点検結果を確認する音声対話を自動的に生成。作業員がマイクから報告すると、音声認識により自動的に記録される。点検結果が正常値と異なっている場合や、点検漏れがある場合は、システムが音声で再確認を促し、ミスを防ぐ。

音声認識の概要図＝左、音声が再入力を促す様子＝右

自社の強みと現場のニーズを組み合わせて開発

　三菱電機は2015年1月、水道管工事の支援技術として、2次元画像をもとに、埋設された設備のイメージと地上の風景を重ねて3D表示するシステムを開発。また、同年4月には人間の音声をリアルタイムでテキストに変換する音声認識技術の正解率が90％を突破するなど、ARを活用したインフラ整備と音声認識技術の向上に注力してきた。

記者会見に登壇した竹内さん

　新システムはこうした技術を現場向けに適用したものだ。「昨今のウェアラブル端末やスマートフォン・タブレットの発展をふまえ、当社が培ってきた技術を作業員が現場で持ち歩けるアイテムに応用した方法を考えた」（三菱電機 情報技術総合研究所の竹内浩一副所長）。

　ゴーグルの画面に表示するARの構築には、iPadなど3次元センサーを搭載したタブレットコンピュータのカメラを用いる。点検対象となる設備をさまざまな角度や距離から撮影し、専用のアプリに読み込むと、画像を一括で関連付けて3次元モデルを生成する仕組みだ。

3次元モデル生成の仕組み

　音声認識にはディープラーニングを導入することによって「人間の声」と「現場の騒音」とを識別。騒音下での使用に耐えうる認識精度を実現したという。

　「音の近さを認識する音響辞書、使用されている単語を認識する言語辞書の2種類によって確からしい数値を算出し、最も数値の高かったものを“言葉”として認識する方法をとっている」（三菱電機 情報技術総合研究所の石井純 音声・言語処理技術部長）

音声認識の仕組み

　今後、音声の認識率のさらなる改善や、人間の移動に対するARの追従性の向上に取り組むほか、ゴーグルとヘルメットを一体化させたウェアラブル端末を開発し、3年後の実用化を目指すとしている。

今後開発予定のヘルメット型ウェアラブル端末の試作品