AIがセキュリティの常識を変える 今のままじゃあなたも被害に遭うかもしれないワケ：半径300メートルのIT

AIの進化でさまざまな業務を効率的に行えるようになってきていますが、同じ変化はサイバー攻撃者にも起きています。これまでと同じ感覚ではあなたが被害に遭うかもしれません。

[宮田健，ITmedia]

　先日、とあるスマートフォンに関する記事が話題になりました（注1）。記事によると、そのスマートフォンは薄く小さな筐体であるにもかかわらずカメラがズームできることを売りにしていたのですが、実はAI（人工知能）を用いて勝手にディテールを追加していたそうです。

　例えば、月をわざとぼやけるように撮影した場合も、記録データの月はくっきりと描写されているそうです。これを「フェイク画像」と思うか、「利用者向けの便利な機能」と捉えるかは人それぞれでしょう。

　AIは近年、すさまじい進化を遂げています。筆者としては、AIの進化は歓迎する一方、これがどのようにサイバー攻撃に使われるのか、心配でもあります。実際にこの心配が現実になりそうな話題も登場しています。

AIがセキュリティの常識を変える　今のままじゃあなたも被害に遭うかもしれないワケ

　セキュリティベンダーのMcAfee（現Trellix）が2019年に開催したイベントで、筆者は「セキュリティベンダーがAIをどのように研究しているか」というセッションに参加しました。当時はAIを使った画像認識で自動車を自動運転させるという技術に注目が集まっており、「その画像認識にエラーを加えてAIを誤動作させる」という技術にどう対抗するかが課題になっていました。

図1　2019年に開催されたMcAfee（現Trellix）のモデルハッキングに関するセッション。ペンギンの画像にノイズを加えることで「フライパン」と認識させた

　日本でもラーメン屋の看板が一時停止の記号に誤認識されると話題になっていましたが、それを悪意あるものが恣意（しい）的に実行し、「AIに人間とは違う判断をさせる」ような画像をばらまくことで、サイバー攻撃を成立させる可能性があります。筆者は当時、このような話を聞いて「技術的には可能だが、ごく一部の領域の脅威でしかない」と認識していました。

図2　標識にほんの少しのノイズを加えることで認識内容を変化させる

　いつかはマルウェア対策ソフトやEDRに検知できないものがAIで生成されるかもしれないと思っていましたが、現実は違う確度から堅実に歩み寄っているようです。『TechnoEdge』は2023年4月、「驚異の高精度AIリアルタイムボイチェン『RVC』で友人になりすまして本人と会話したときの反応」という記事を公開しました。元アイティメディアの松尾公也氏が、音声AIで知人の声に近づけるボイスチェンジャーを使ってみたという内容です。学習用音声があればかなりの精度で本人の声をまねられるというデモに、皆さんも驚くでしょう。

　ここで読者の方に思い出してほしいのは、一時期話題になったサイバー攻撃「CEO（最高経営責任者）詐欺」です。これは「ビジネスメール詐欺」とほぼ同時期に話題になったもので、CEOの名で振込先変更を経理部などに指示し、大金をせしめるという手口です。ビジネスメール詐欺のステップにて、実際に電話を使うことで組織の担当者を急がせ、判断力を奪う手段です。

　CEO詐欺については、高齢者をターゲットとした「振り込め詐欺」と同様、しっかりと手法を理解し注意喚起していれば対応できたかもしれません。しかし、AIを使ったボイスチェンジャーの精度が高いことを考えると、だまされる人が増える可能性があります。特に外部講演を行う方や音声インタビューを受ける経営陣、ポッドキャストなど新しいメディアをフル活用しているCxO（Chief x Officer）の方などは、既に公開されているものが学習用データになり得ます。

もう一段、常識をアップデートするタイミングが来た

　SNSなどでは、日々やってくる「迷惑メール」に対して日本語のつたなさやおかしな表現を嘲笑する傾向が見て取れます。また、振り込め詐欺の被害に遭う高齢者に対しても「なぜこんな単純な手にだまされて大金を奪われるのか」といった発言も見受けられます。このような考え方は非常に危険です。被害に遭うのが判断力の問題ならば、われわれもいつか嘲笑される側に回るわけですから。

　迷惑メールかどうかを、日本語のつたなさだけで判断している場合、AIがこの状況を大きく変えるでしょう。「ChatGPT」の返答を見ると、真偽はともかく不思議な日本語の表現は少なくなっています。迷惑メールを送信する側もこれらAIを活用しようと考えているでしょう。もしかしたら2023年中には、迷惑メールによる侵入成功率は桁違いに高くなる可能性があります。

　音声による攻撃も、ある程度お金を持っている「組織」を狙い、実施されていく可能性があります。ビジネスメール詐欺やCEO詐欺はまず、組織のメールアドレスに迷惑メールを送りマルウェアを感染させ、そこからメールボックスの情報を奪います。そしてそのやりとりを把握して偽の請求や取引情報を入れます。人間の目や耳では判断できない悪意が入り込むわけです。「自分はだまされない」「迷惑メールは簡単に判別できる」といったこれまでの常識を変える必要があります。「見破ればよい」という考え方自体が危険になっていくはずです。

　AIを使った無差別で超高度なサイバー攻撃はまだ実現できないと思います。しかし、これまでの手法でマルウェアをばらまき、そこからターゲットを決め、ここぞという組織に対してAIを補助的に活用し、詐欺を仕掛けることは明日にでも起こるかもしれないシナリオです。残念ながらAIを規制することはできず、特にサイバー攻撃者が規制に従うとは思えません。また、ビジネスメール詐欺は内部不正者が行う可能性もあります。事情をよく知る内部不正者が悪意をもってAIを悪用するというシナリオも想定しましょう。

　これらは「標的型攻撃」ですが、その標的は大企業だけではなく資金を持っている全ての組織です。大まかな攻撃の流れはこれまでのビジネスメール詐欺と変わらないと考えられるので、AIの実力が経営層にも響いているこのタイミングでもう一度、ビジネスメール詐欺対策について組織全体でディスカッションしてみてください。

注1：reddit「Samsung "space zoom" moon　shots are fake, and here is the proof」