生成AIは便利だが“リスクだらけ”？ 上手に使いこなすために必要なこと：CIO Dive

企業にさまざまなメリットをもたらす生成AIは、ハッカーの攻撃対象となったり、ツール自体のセキュリティや信頼性が問われたりとリスクもある。問題点と適切な管理のポイントをまとめた。

[Lindsey Wilkinson，CIO Dive]

　データ分析の拡大や業務のスピードアップ、管理負担の軽減といった生成AIの潜在的メリットは、企業のリーダーにとって魅力的なものだ。しかし、サイバーセキュリティのリーダーは、この新しい技術が不安定な環境に新たな問題をもたらす可能性があると警戒している。

安易な導入は危険　生成AIがはらむセキュリティリスクとは？

　ベンダーとCEOがCIO（最高情報責任者）に対して生成AIを迅速に導入するよう促す中、サイバーセキュリティの専門家は技術に追従するかどうかという点で、しばしば難しい立場に立たされている。

　サイバーセキュリティ教育を提供する大学院SANS Technology Instituteの学長であるエド・スクーディス氏は、「私が話をするCISO（最高情報セキュリティ責任者）は、『この動きは速過ぎてついていけない』と待ったをかけるように手を挙げながら主張している。そして歴史的にも、サイバーセキュリティの専門家は常に新しい技術が普及する時期に適しているかどうかを疑問視する傾向にある」と述べた。

　この懸念があるにもかかわらず、CISOはCIOと協力して生成AIに焦点を当てた計画と戦略を策定することに熱心であり、これが組織にとって潜在的にプラスの影響をもたらす可能性がある。

　AIプラットフォームには欠陥があることを知っているCIOは、何も知らない楽観的なCIOよりも有利だろう。企業はモデルをスキャンする自動化ツールを展開し、サイバー専門家を巻き込んで悪意のある活動の兆候を探すことで、脆弱（ぜいじゃく）性に積極的に対処できる。

　生成AIの導入における選択肢が広がるにつれて、サイバーに関する専門知識は特に重要になっている。

　CIOは「Hugging Face」「Vertex AI」「Amazon Bedrock」などの生成AIプラットフォームを活用してAIモデルを構築し、内部データを使って訓練することが可能だ。チームは「GitHub Copilot」「ChatGPT Enterprise」「Gemini」のような既製のツールに直接アクセスもできる。OpenAIの「GPT Store」やプラグイン、その他のベンダーから提供されるカスタマイズモデルはさらに多くの選択肢をもたらす。

　より多くの生成AIプラットフォームやツールが独自の内部データに接続するにつれて、サイバー担当者を頼りにするCIOは、ポリシーやプランの改善点、ツールやモデルの脆弱性など、他の方法では特定されなかった領域を発見できるだろう。

AIは攻撃者にとって有利に働く可能性

　AIや生成AIの活用が攻撃と防御のどちらにメリットをもたらすかについては、サイバーセキュリティの世界でも議論が進んでいる。

　スクーディス氏は「CIO Dive」の取材に対し、「今後1〜3年のうちにAIが防御に役立つ可能性はあると思うが、現時点ではAIは攻撃に活用する方が適している」と語った。

　拡散してデータを盗み出すAIワームからAPIの脆弱性まで、ここ数週間で企業に注意喚起する報告書が複数公開された（注1）。

　DevOpsプラットフォームのプロバイダーである「JFrog」は、Hugging Face上で約100個に及ぶ悪意のあるモデルを発見したと述べた（注2）。JFrogは主に開発者やデータサイエンティストにオープンソースのプラットフォームとしてサービスを提供しているが、生成AIの広がりにより企業がそれを予算に組み込むようになるにつれ、同社はAmazonやGoogle Cloud、IBMのソリューションと接続するパートナーシップを結び、企業向けITに力を入れ始めている（注3）（注4）（注5）。Hugging Faceは、コメントの要請には応じていない。

　「潜在的な脅威の一つはコードの実行で、悪意のある行為者がモデルを読み込んだり実行したりするマシン上で任意のコードを実行できることを意味する。これは、データ漏えいやシステム侵害、その他の悪意ある行為につながる可能性がある」と、JFrogのデビッド・コーエン氏（シニアセキュリティリサーチャー）は2024年2月のブログ投稿で述べている。

　さらに最近、2024年3月20日（現地時間）に発表されたレポートによると、セキュリティ企業のSalt Securityは、アカウントや機密データへの第三者アクセスを可能にする「ChatGPT」プラグイン内のセキュリティの欠陥を特定した（注6）。ChatGPTプラグインは「Google Drive」からのデータの取得や、「GitHub」リポジトリにコードをコミットするといったタスクをチャットbotに代行させる。

　Salt Securityの研究によると、これらのプラグインは場合によっては有益だが、新たな攻撃ベクトルが生まれ、悪意ある行為者がサードパーティーのWebサイト上で組織のアカウントを制御したり、サードパーティーのアプリケーション内に保存された機密情報やデータにアクセスしたりすることを可能にするという。

　Salt Securityのアヴィアド・カーメル氏（セキュリティ研究者兼プラグイン研究リーダー）は、チームの分析では組織がそのソースコードを保持しているGitHubアカウントにプラグインを接続し、攻撃者がプロンプトを介してアクセスできる例があったと述べた。

　同社のヤニヴ・バルマス氏（リサーチ担当バイスプレジデント）は「それは壊滅的な出来事であり、実際にそのようなことが起こり得る。私たちの研究の結論は、他の全ての生成AIのエコシステムに非常に強く関連している」と話す。

AIが書くコードは信頼できる？　鍵を握るツールとは

　サイバーセキュリティに関する話は、調達からユースケースに至るまで、生成AIのライフサイクル全体にわたって展開されるだろう。生成AIによるソフトウェア開発の進展に関心のある企業は、コーディングアシスタントを動かすトレーニングセットを確認することから始められる。

　「あなたが開発者でソフトウェアを書いている場合、これらのLLM（大規模言語モデル）がソフトウェアの種類の推測のために参照する情報源は、ほとんどの場合、『Stack Overflow』やプログラミングについて話しているオンラインのブログのような公開文書から引用されている」とセキュリティ企業Snykのランドール・デッグス氏（開発関係およびコミュニティーの責任者）は述べている。

　インターネット上のコーディングヘルプの多くは、製品準備が整ったセキュアなコードの最良の例とは言えないと同氏は話す。内部データを利用したAIコーディングツールは、既存の基準を強化するだけだ。

　より多くの企業が技術スタックにコーディングツールを追加するにつれて、結果が期待に応えているかどうかを確認するための監視ツールが鍵となる。

　「生成AIが学習するコードが多くの問題を抱えていれば、生成AIに追加のコードを依頼しても、多くの場合、同じように悪いコードが生成される」とデッグス氏は語った。

　Snykの調査によると、優れたコードベースを備えた生成AIツールを使用した場合は優れたコードが生成されることが分かっている。

　生成されたコードを自動化および人間がレビューすることでビジネスを保護できる。Snykの調査によると、組織の半数以上が、AIが生成したコードに関するセキュリティ上の問題を頻繁に発見しているという。開発者の10人中9人近くが、生成AIによるコーディングツールのセキュリティへの影響を懸念している。

　「実稼働環境で安全なコードを構築するのは非常に困難だ。だからこそ、エンジニアリングは非常に高需要になっている」とデッグス氏は言う。Skillsoftが発表したITスキルと給与レポートによると（注7）、ソフトウェアエンジニアや品質保証テスト、データベース開発者を含むアプリ開発者とプログラマーは、IT部門の中で年間報酬が最も高く、約47％増加した。

　「ここ1年半ほどで、このような最新情報を常に把握している全ての開発者は、ツールが進歩し、操作方法が変わり、有用性のレベルが変化したという理由だけで、ワークフローが恐らく3〜4回変更された」とデッグス氏は語った。

（注1）Here Come the AI Worms（WIRED）
（注2）Data Scientists Targeted by Malicious Hugging Face ML Models with Silent Backdoor（JFrog）
（注3）AWS, Hugging Face partnership promises faster and cheaper generative AI deployment（CIO Dive）
（注4）Google Cloud opens up infrastructure for Hugging Face developers（CIO Dive）
（注5）IBM pins hybrid cloud strategy to generative AI play（CIO Dive）
（注6）Security Flaws within ChatGPT Ecosystem Allowed Access to Accounts On Third-Party Websites and Sensitive Data（Salt Security）
（注7）IT Skills& Salary Report（Skillsoft）

原文へのリンク