AIがカメラ画像を自動合成し、悪条件下の視認性を向上 NECと東京工業大学が共同開発

NECと東京工業大学は、可視光と非可視光の画像をAIが自動合成する技術を共同開発した。夜間や濃霧、逆光、物陰といった悪条件下の映像でも対象物を把握できるようになる。

[ITmedia]

　NECと東京工業大学は6月5日、一般カメラで撮影した可視光画像と、サーモカメラなどで撮影した非可視光画像をAIで自動合成する「マルチモーダル画像融合技術」を共同開発したと発表した。

　これにより、瞬時の視認が必要となるさまざまな分野で、悪条件下でも正しい状況判断ができるようになるという。例えば、夜間や濃霧などの悪天候下での施設監視、対向車のまぶしいヘッドライトや暗闇による死角があっても運用できる自動運転支援、建物のひび割れなど表面だけでなく内部の異常まで検査可能にするインフラ点検などの用途が期待できるとしている。

　従来、異なる種類のカメラで撮影した画像を合成するには、専門家による複雑な変換作業が必要だった。また、非可視光画像に含まれる、異常や危険物の有無を判断する手掛かりとなるわずかな特徴は、合成により失われるという課題もあった。

　NECと東京工業大学 工学院の奥富正敏教授、田中正行特定准教授らの研究グループは、専門家の変換ノウハウを学習したAIを用いて、可視光画像と非可視光画像を自動的かつ効果的に統合し、対象物や状況の視認性を高める技術を開発。従来は視覚化が困難だったシーンでも、高い視認性が得られるようになったという。

「マルチモーダル画像融合技術」における適用例

　新技術では、熱をとらえるサーモカメラや、テラヘルツ波で対象をとらえるテラヘルツカメラといったカメラの種類、環境の特性（明るさ、光線の方向、障害物の有無など）に応じて、AIが画像の各部分における視認性の度合いを評価し、最適な領域のみを自動的に抽出する。

AIが画像の各部分における視認性の度合いを評価し、最適な領域を自動的に抽出する

　さらに、非可視カメラの画像における、異常や危険物などに関するわずかな特徴をAIが解析。白とびや黒つぶれなどの画像破たんが生じない、適切な強調の度合いを判断しながら、従来にない高い視認性を持つマルチモーダルな融合画像を自動的に生成するという。

AIが、白とびや黒つぶれなどの画像破たんが生じない、適切な度合いを判断する