ITmedia NEWS > AI+ >
ニュース
» 2020年09月25日 14時51分 公開

耳から顔を深層学習で生成 生体認証にも有用? 独研究Innovative Tech

耳の画像から顔が推測できる新技術。

[山下裕毅,ITmedia]

Innovative Tech:

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

 独カールスルーエ工科大学とトルコのイスタンブール工科大学による研究チームが開発した「Ear2Face」は、 耳の画像から正面の顔画像を生成する深層学習を用いた手法だ。生体認証の識別部位として耳を活用する。

photo Ear2Faceネットワークは、耳と顔の画像間マッピングを学習する

 耳も顔も個人の生体形質であり、遺伝子型に基づいて生成されることから、耳と顔の間には遺伝的による暗黙の関係があると仮定して開発されたのが今回の手法だ。

 この仮定を踏まえて、被験者の耳の画像から正面から見た顔の画像を生成するための深層学習ネットワークを設計する。ネットワークは、耳から生成した顔画像と元の顔画像を真偽判定しながら学習するGAN(Generative Adversarial Network)で構成される。

 学習用のデータセットには、顔画像データベースの「Multi-PIE」と「FERET」から大量に収集した耳と顔のペア画像を使用する。

photo 耳画像から顔画像への変換パイプライン

 学習したモデルによって生成した顔画像は、局所的に不自然な部分はあるものの、元の顔画像と視覚的によく似た結果を示したという。

 次に、このように出力した顔画像が身元情報を保持しているかの顔認識実験も行った。定量的に行うため、再構成された顔画像と元の顔画像の両方の特徴量を抽出し測定した。

photo Ear2Faceネットワーク で出力した顔画像が身元情報を保持しているかを確認するための顔認識パイプライン

 実験の結果、5種類の評価指標すべてにおいて類似性が高いことを示し、定量的にも元画像と似ていることを実証した。被験者に依存しないテストデータでも実験を行い、良好な結果が得られたことから、訓練データセットに存在しない被験者に対しても同様の性能を発揮したことを示した。

photo 耳画像と再構築した顔画像と元画像を比較した図

Copyright © ITmedia, Inc. All Rights Reserved.