生成AIはここまで悪用できる 社会現象を“捏造”するその実力とは？：「SPHERE 23」現地レポート

WithSecureは生成AIに関するリサーチ結果を発表した。同調査は「ChatGPT」をはじめとした生成AIツールを悪用することでいかに社会現象を捏造し、フェイクをばらまくことができるかを明らかにしている。

[宮田健，ITmedia]

　フィンランドに本社を持つWithSecureは、2023年5月24〜26日に同社主催のイベント「SPHERE 23」をフィンランドの首都ヘルシンキで開催した。同イベントに先立ち、WithSecureは同社が研究している生成AI（人工知能）に関する興味深い実験やリサーチ結果、CEO（最高経営責任者）による事業戦略を発表した。本レポートは複数回にわたって現地の様子をお届けする。

ヘルシンキにあるWithSecure本社（筆者撮影）

SPHERE23は「アンカンファレンス」　生成AIに関する興味深いリサーチ結果

　WithSecureのプレジデント兼CEOであるユハニ・ヒンティッカ氏は、同社のイベントを通常のカンファレンスとは異なる「アンカンファレンス」と位置付けている。このイベントの目的を「私たちが興味の対象としてふさわしいと思うものを持ち寄り、市場がどうなっているのかを示すことを第一の目的としている」とし、2023年はWithSecureが推し進めるコンセプト「アウトカムセキュリティ」を大きく取りあげると述べた。

　アウトカム（成果）ベースのセキュリティとは、これまでの脅威ベースやリスク／アセットベースを超え、ビジネスの成果を達成できるようセキュリティを検討する考え方だ。これまでの「サプライチェーン攻撃対策」は脅威をベースとした考え方だが、これをアウトカムベースのセキュリティで考えると、ビジネス指標としての「顧客からの信頼を得る」といった成果を基にセキュリティを検討することとなる。

　また、「Webサイトのセキュリティをどうするか」という命題に対する答えをアウトカムベースで考えると、「DDoS攻撃を防ぐために保護を実装する」から、「Webサイトによるビジネス上の目的を理解し、それを踏まえてセキュリティを検討する」となる。

　ヒンティッカ氏は「顧客と話すと『こういう結果を出したい』と声をかけられる。アウトカムベースセキュリティのアプローチはサイバーセキュリティ対策製品ではなく“旅”（Journey）であり、顧客と一緒に進むための“Co-Security”だ。これによって全ての会社に望む結果を提供できるようになる」と述べた。

WithSecureが提唱する「アウトカムベースセキュリティ」（出典：WithSecure提供資料）

ポートフォリオを拡充し、どう旅を続けていくか？

　次に、WithSecureの最高製品責任者であるアンティ・コスケラ氏は、同社のポートフォリオについて解説した。企業のクラウド利用が促進され、新しいアーキテクチャへの移行が進む中、それに合わせてセキュリティも変化する必要があるとコスケラ氏は話す。

（左）WithSecureのプレジデント兼CEOユハニ・ヒンティッカ氏（右）WithSecureの最高製品責任者アンティ・コスケラ氏（筆者撮影）

　WithSecureはこれに向けてポートフォリオを拡充してきた。その中核にあるのは、クラウドベースのサイバーセキュリティプラットフォーム「WithSecure Elements」だ。今回のイベントでもこれを強化する機能の発表が予定されている。「プラットフォームを強化することで、さまざまな産業分野で問題を解決できる。技術中心のものではあるが、重要なのはそれだけではなく、プロセスや人、技術が一緒になって初めてアウトカムベースセキュリティが実現できるということだ。これを目指してポートフォリオを展開していく」（コスケラ氏）。

WithSecureのポートフォリオイメージ（出典：WithSecure提供資料）

生成AIで社会現象を捏造できる時代が来ている

　続いて、WithSecureが研究しているAIについての成果が発表された。同社のセキュリティリサーチ部門「WithSecure Intelligence」（WithIntel）のシニアリサーチャーであるアンディ・パテル氏は、2023年1月に発表した「AI-generated texts could increase people’s exposure to threats」において、言語モデル「GPT-3」をベースに研究を実施し、これらのツールのサイバー攻撃への応用方法を調査した結果を論文にまとめている。

WithIntelのシニアリサーチャーであるアンディ・パテル氏（筆者撮影）

　パテル氏はまず、生成AIをフィッシング及びスピアフィッシングに応用できるかを考えた。「結論はもちろん“使える”だった。『ChatGPT』のようなインタフェースを介してフィッシングメールを作成させようとすると、セーフティフィルターが悪意を検知して拒否してしまう。そこで実数値の代わりに［person1］［emailaddress1］［link1］といったプレースホルダーを使用すれば、無害なコンテンツに見せかけ生成が可能だ」と同氏は述べる。

　次にパテル氏は「ハラスメント」に関する実験結果を解説した。言語モデルに企業とCEOを定義させ、その企業とCEOに対してハラスメント攻撃を実行するよう指示する。するとSNS投稿や記事生成によって、ブランドレピュテーションを下げようとするコンテンツが生成された。企業に対しての苦情やCEOを責める言葉、悪事などをプロンプトに入れることでより自然な記事が作成されたという。

ハラスメントと呼ぶ実験では、特定の企業やCEOの信頼を失わせるようなコンテンツを大量に生成した（出典：WithSecure提供資料）

　その他には「ソーシャルバリデーション」（社会的検証）もAIで生成した。こうした検証はSNSなどで複数回“接触”があると、不審なものでも多くの人々が信頼を寄せてしまう。例えば以前、若者の間でカラフルな液体洗剤を食べる「Tide Podチャレンジ」がSNSを中心に大きな問題となった。

　この事例を基に、パテル氏は「チャレンジを実施する」という投稿だけでなく、それを読んで「実際に行動した」という投稿、それに対する返事など全ての投稿をAIで生成した。「ソーシャルバリデーションの事例は、NFTへの投資や詐欺など、実際のSNSでもよく見られる」（パテル氏）。これからは、複数のユーザーがSNS上で何かを大きく盛り上げていたとしても、これら全ての投稿がAIによって生成された可能性を疑わなくてはならないのだ。

ソーシャルバリデーションの実験では、多くの架空の人物が行う架空の事象を、実在する人間に対して強いることができる可能性を示している（出典：WithSecure提供資料）

生成されたテキストディープフェイクをどう見破ればいいのか？

　パテル氏は続いて、「スタイルトランスファー」と呼ぶ実験を紹介した。これは社内メールのような、形式張っていないやりとりをプロンプトに投入することで、いわば「テキストのディープフェイク」を実現するというものだ。生成AIの補助があればこれも実現できるとパテル氏は述べる。「会社のCEOの書いた文章群を手に入れられれば、同じ文体を作り出せる。ネイティブではない言語だったとしても、AIの手助けがあれば能力のある執筆者ですら難しい内容を作成できてしまう」（パテル氏）。

　さらに問題なのは「ハック＆リーク」と呼ばれる攻撃に生成AIを応用するケースだ。ハック＆リークはサイバー攻撃者が企業からドキュメントなどを盗み出し、データを意図的に漏えいさせる手法だが、生成AIを使えばこのドキュメントに対し、文体を模倣した虚偽の文章を入れ込むことも可能となる。「会社側が（この虚偽の文書に対し）反論することは極めて難しいだろう」（パテル氏）。

AIは文体の模倣も可能だ（出典：WithSecure提供資料）

　生成AIは自然な形で、読者の意見を誘導するツールにもなり得る。「オピニオントランスファー」という実験では、まずAIに事実に従った記事を書かせた後、右派的、左派的の2つの意見をプロンプトに追加、それを基にオピニオンを書かせた。結果として2種の記事は自然に、大量に生成でき、短期間で多くの思想的に“偏った”記事を作れたという。

　その他、まだウクライナ危機を知らない時代のデータを基にして、「フェイクニュース」を意図を加えた形で生成する実験にも成功した。例えばフィンランドのすぐ近くで発生したノルドストリームのパイプライン爆破という事実に対し、「米国が攻撃したのではないか」という観点を加えた、説得力のある記事を書かせることに成功している。

　この生成について、「プロンプトにおける言葉選びは重要だった。例えば“would”や“could”などの丁寧な表現を使うことで、生成結果に著しい影響があった。“could”は意見の形の文章になり、“would”でフェイクニュースのようなものが出力された」とパテル氏は述べる。

生成AIによってディスインフォメーションを大量に生成可能（出典：WithSecure提供資料）

　パテル氏が所属するWithIntelのチームは、引き続きAIとサイバー攻撃に関する研究を続けており、新たな成果も2023年中には発表する予定だ。パテル氏はこの現状を踏まえ組織や個人がどう対抗するかという問いに対し、「現状としてはフィッシングに対する知見やメディアリテラシーの重要さを理解することが必要だ。攻撃がどう見えるか、どう発見するか、どう本人確認をしていくかが、今後さらに重要になってくる」と述べた。

（取材協力：ウィズセキュア）