Innovative Tech

写真内の不要な顔だけ“実在しない顔”に置き替えるAI　プライバシー保護に活用　Intelなどが開発

公開 2022年12月01日 10時00分

著者

山下裕毅

[ITmedia]

印刷する連載新着通知を受け取る

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米ビンガムトン大学とIntel Labsに所属する研究者らが発表した論文「My Face My Choice: Privacy Enhancing Deepfakes for Social Media Anonymization」は、写真内に写る指定した顔を実在しない偽の顔（ディープフェイク）に変換する深層学習モデルを提案した研究報告だ。

複数人が写る写真において、不要な顔のみを異なる顔に変換し匿名化する

　知人や他人が写り込んだ写真を知人や他人に許可なくSNSに投稿すると、インターネット上で誰でもアクセスできる。そのため、画像認識系の機械学習モデルのデータセットの一部として訓練に用いられ、悪用される可能性がある。

　そこでこの研究では、共有したくない写り込んだ顔だけを偽の顔に置き換える深層学習モデル「MFMC」を提案する。ここでいう偽の顔とは、頭部姿勢や表情、光の反射具合はそのままに、年代や性別も維持した状態で、画像認識モデルに特定されない別人の顔を意味する。

　モデルは、ArcFaceを用いて512の特徴量を持つ顔を抽出し、InsightFaceを利用して性別と年齢に基づく分類を行い、潜在空間における方向性に利用する。ディープフェイク生成にはSimSwapライブラリを用いる。

　実際のデータセットについては、多様な環境をカバーするFacial Descriptors Datasetのpartyサブセットを利用する。このデータセットには、さまざまな解像度やポーズ、照明の193枚の画像に含まれる1282人の多くの構成が含まれている。

ソース画像と年齢、性別に限定したランダムなターゲットクエリからこのモデルで作成したディープフェイク

　このモデルを活用すると、投稿者は写真内の全員もしくは一部の人の顔をディープフェイクに置き換えることができる。また友人には素顔で、その他の人にはディープフェイクとして表示する、公開条件の設定も可能である。

　例えば、下図のように3人が写真に写っていたとする。緑の人は誰からも見られたくないので常にディープフェイクに設定する。青の人は公開しても良いのでディープフェイクに設定しない。赤の人は友人にだけ見られたいので、自分の友人以外にはディープフェイクを設定する。このように投稿者は、3つのアクセスレベルを顔ごとに設定できる。

緑の人はディープフェイクに変換する設定、青の人はディープフェイクを適応しない設定。赤の人は友達にだけは素顔で、その他の人からはディープフェイクに見えている

　評価テストでは、最先端の顔認識システム7種類において、変換したディープフェイクが同一人物に属するかどうかの判定を行う検証を実施した。結果、顔認識精度が著しく低下して同一人物と判定することが困難だと確認された。

このモデルの出力結果の例

Source and Image Credits: Ciftci, Umur A., Gokturk Yuksek, and Ilke Demir. “My Face My Choice: Privacy Enhancing Deepfakes for Social Media Anonymization.” arXiv preprint arXiv:2211.01361 (2022).

この連載新着通知をメールで受け取る

印刷する

SpecialPR

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

連載新着通知を受け取る

この連載の記事をもっと見る