OpenAIとMicrosoft、AIを攻撃に悪用するロシアや中国のアカウント停止

» 2024年02月15日 09時06分公開

[ITmedia]

　米Microsoftと米OpenAIは2月14日（現地時間）、LLMなどのAIツールが国家関連の攻撃者に悪用されているという調査結果と、複数の関連アカウントを停止したことを発表した。

　両社は情報を共有して協力し、5つの国家関連の悪意ある攻撃者、脅威アクターを阻止したという。「OpenAIのLLMとユーザーを攻撃や悪用から保護し、モデルにガードレールと安全メカニズムを構築するための措置を講じている」。

　アカウントを停止したのは、ロシア政府とつながるForest Blizzard（APT28、Fancy Bearとも呼ばれる）、イラン政府関連のCrimson Sandstorm、中国政府のCharcoal TyphoonとSalmon Typhoon、北朝鮮政府のEmerald Sleet。これらの脅威アクターに関連付けられているすべてのアカウントと資産を無効にした。

　例えば、ロシアの外交政策と軍事目標に対して重要な支援的役割を果たしているForest Blizzardは、LLMを使って衛星通信プロトコルやレーダー画像技術を研究し、ウクライナでの軍事作戦に利用していたという。

　Crimson Sandstormは、LLMと対話してフィッシングメールの原稿を生成していた。中には、国際開発機関を装うものや、著名なフェミニストを偽のフェミニズムサイトに誘い込もうとするものなどがあった。

　両社は、LLMを悪用した致命的な攻撃はまだ検出していないが、こうした初期段階の動きを報告することで、政府を含む防御者コミュニティと協力していくことが重要だとしている。

Microsoft、ロシアが支援するNobeliumによる攻撃で社内メール盗難
Microsoftは、ごく一部の従業員のメールアカウントが侵害され、メールが盗まれたと発表した。同社がロシア国営攻撃者とするMidnight Blizzard（Nobelium、APT29、Cozu Bear）の攻撃としている。
世界の筆頭リスクは「虚偽情報」、世界経済フォーラムが発表　AI台頭で危険増大か　“AI×核兵器”にも警告
世界経済フォーラムがまとめた「グローバルリスクレポート2024」で、「虚偽情報」が初めて今後2年の10大リスクの筆頭に浮上した。背景にあるのはAIの台頭で、選挙介入からサイバー犯罪、軍事目的などでAIが利用される危険性を指摘している。
2024年に流行るサイバー攻撃は？　注目はやはりAI　それ以上に押さえておくべき基本とは
2023年は「ChatGPT」のような生成AIが急激に台頭し、サイバー攻撃を仕掛ける側も防ぐ側も、AIの活用に注目した年だった。2024年はどのような手口が増えると予想されるか。サイバーセキュリティ各社がその予測をまとめている。
「銀行を襲う方法を教えて」──“脱獄プロンプト”の自動生成モデル　ChatGPTやLlama-2で成功率90％以上
米ノースウェスタン大学に所属する研究者らは、大規模言語モデル（LLM）に対する脱獄（ジェイルブレーク）プロンプトを自動生成してくれるフレームワークを提案した研究報告を発表した。
「LAPSUS$」は「Strawberry Tempest」に──Microsoftの新脅威分名方式
Microsoftは脅威アクター（サイバー攻撃者）の命名法を従来の化学元素名から気象現象名に変更する。国や規模が分かりやすくなるとしている。たとえばNSO Group（DEV-0336）には「Night Tsunami」という新たな名前を付ける。