人工知能の悪用を防ぐために OpenAIの論文が示すリスクとは?ITはみ出しコラム

» 2018年02月25日 06時00分 公開
[佐藤由紀子ITmedia]

 人工知能(AI)の脅威というと、「シンギュラリティ」問題が取り沙汰されますが、人間による悪用の方がもっと早く“実用化”されそうです。

 米TeslaのCEOとして知られるイーロン・マスク氏などが立ち上げた非営利のAI研究企業OpenAIが2月20日、EFF(電子フロンティア財団)や大学の偉い先生たちと一緒にある論文を発表しました。

 100ページ以上にわたる論文のタイトルは、「Malicious Use of Artificial Intelligence:Forecasting, Prevention, and Mitigation」(AIの悪用:予測、予防、緩和)。人間によるAIの悪用の例と、それを阻止するためにどうしたらいいかについて最先端の研究者たちが討論してまとめたものです。AIに詳しくない政治家などに注意喚起することも目的としているので、比較的平易な文章です。

openai The Malicious Use of Artificial Intelligence:Forecasting, Prevention, and Mitigation

 印象的なのは、「AIは特にデュアルユースを意識して扱うべし」という話。デュアルユースというのは「いいことに使うつもりで作ったツールは悪いことにも使える」という意味です。

 例えば、AIに限らずセキュリティ強化のために開発したツールはサイバー攻撃の強力な道具にもなります。だから、AIについてはオープンソースにする方法は慎重に考えた方がいいかも、と提案しています。

 もちろん恐怖をあおるのが目的ではないんですが、ピンとこない人のために具体的なシナリオが幾つか紹介されています。その中から2つばかりご紹介。

 1つは、いわゆる「ソーシャルエンジニアリング」のシナリオ。ちょっと興味のある広告をクリックしたらウイルスに感染しちゃった、というのは今でもありますが、AIを使えば個人の好みなどを今より簡単に詳細に調べて特定の個人を狙った攻撃ができるという例です。

 ある企業でオフィス内のロボットの管理を担当しているジャッキーの趣味は鉄道模型。オフィスのデスクにもレールを敷いてお気に入りの車両を走らせるほどのマニアだ。

 ロボット管理者の仕事の1つは、新しく入った従業員をセキュリティロボットに認識させて、その人がオフィスに入ってもアラームを鳴らさないようにすること。このCleanSecure製ロボットは、製造元が“ハックプルーフ”している安全なものだ。

 ある日ジャッキーがロボット専用のコンソールでロボットたちのファームウェアアップデートが終わるのを待ちながらFacebookのニュースフィードを眺めていると、興味を引く広告が表示された。ホビーショップの鉄道模型セールの広告だ。しかも、自宅から歩いて数分のところにある店だ。

 早速オンラインフォームに入力してカタログをメールで送ってもらい、受信したカタログを開いた。ファームウェアアップデート終了のアラートが鳴ったのでカタログを閉じ、管理者コンソールに戻った。

 ジャッキーは、そのカタログがマルウェアに感染していたことを知らない。オンラインのプロフィールや公開されている情報に基づいて、AIシステムがジャッキーに特化した脆弱(ぜいじゃく)性のプロフィール(鉄道模型の広告)を生成し、下請けのフリーランサーがそのプロフィール向きの攻撃ツールを作った。

 ジャッキーがコンソールにログインすると、ユーザー名とパスワードがダークネットのC&Cサーバにこっそり送られた。すぐにある人物がジャッキーのユーザー名とパスワードを購入し、それを使ってCleanSecure製ロボットへの完全なアクセス特権を盗んだ。

 もう1つは、そうやってまともなメーカーのロボットをこっそり操作できるようになったテロリストがロボットを使って要人を暗殺するというシナリオです。ドイツ連邦財務省の財務大臣暗殺の事件報告書、という想定のお話。

 オフィス清掃ロボット「SweepBot」が財務省の地下駐車場に降りていくのを監視カメラが記録していた。財務省が使っているのと同じモデルのロボット1台が、2台の(正式な)清掃ロボットが定期巡回で地下駐車場を掃除しに来るのを待ち、掃除を終えたロボットに続いて業務用エレベーターに乗って他のロボットたちと一緒にオフィス内の物置に入った。

 攻撃の日、侵入したロボットは他のロボットと同様に清掃業務を行った。ロボットはあらかじめ認識させられていた財務大臣を搭載カメラで検知すると掃除を中断して大臣に近づき、大臣に近づいたら爆発するよう設定された内蔵爆弾で自爆した。これにより、大臣は爆死し、周辺にいた人も負傷した。

 同じ型のロボットは毎週数百台販売されていた。それでもテロに使われた個体を販売したショップは特定できた。だが、購入者が現金で対価を支払ったため、それ以上の追跡はできなかった。

 イントラで管理するオフィス清掃ロボットは既に実用化されているので、これはかなりありそうなシナリオです。下の画像は現在販売されているロボットです(シナリオとは関係ありませんがご参考までに)。

robot

 他に、セキュリティツールの脆弱性を発見するためのツールが悪用されるシナリオと、一般市民への監視が厳しくなって、フェイクニュースにあおられて平和な手段で世の中の改善を訴えようと思って準備していた一般市民がテロ容疑で逮捕されるシナリオもあります。

 この論文に具体的な対策とか結論はないのですが、AI研究者は取り扱いに注意して、政治家は研究者ともっと協力してAIの悪用への対処方法を考えて、セキュリティ関係者もAI研究者と協力して、とにかくみんなでもっと話し合おうよ、ということなのでした。

 ちなみにOpenAI立ち上げの中心になったイーロン・マスク氏ですが、この論文発表の日に理事会を退会したこともひっそり発表されました。「(マスク氏がCEOを務める)Teslaが今後AIへのフォーカスを強くしていくと、将来的に(OpenAIの理念が)イーロンにとって矛盾になる可能性を排除するため」とあります。

tesla

 論文では自動運転車をハックして事故を起こすこともできる、とあるので無理もないです。もちろん、Teslaだってそういう悪用の可能性も考えながら自動運転技術を開発しているのでしょうけれど。

Copyright © ITmedia, Inc. All Rights Reserved.

アクセストップ10

2024年03月19日 更新
  1. 無償版「Copilot」でもフルタイムでGPT-4 Turboが利用可能に/「Copilot for Security」が4月1日から一般提供開始 (2024年03月17日)
  2. ナゼか小型タブレットでお絵描きにハマりそう! NECPC「LAVIE Tab T14/T9」 の実機を試して分かった驚き (2024年03月18日)
  3. 最高6.2GHzで動作するCoreプロセッサ現行最上位の「Core i9-14900KS」がデビュー! (2024年03月18日)
  4. 総務省がCHUWI(ツーウェイ)を「行政指導」 一部モデルで認証の取得漏れなどが判明 当該機種では「5GHz帯Wi-Fi」は使わないように (2023年04月13日)
  5. ロープロで2スロット厚! NVIDIA RTX 2000 “Ada世代”のグラフィックスカードが登場! (2024年03月16日)
  6. 外付けGPU「ONEXGPU」でビジネスノートPCをパワーアップしてみた オンライン会議における“もっさり”の解決策になる? (2024年03月19日)
  7. 新「M3 MacBook Air」は守備範囲の広さが魅力 MacBook Proとの違いはある? 買い替え検討者に伝えたい注目ポイント (2024年03月14日)
  8. PCの累計生産台数5000万台突破目前! 「島根富士通」が出雲にある理由 (2024年03月15日)
  9. Copilotで画像を生成できる「Image Creator」を試してみよう (2024年03月15日)
  10. あなたのPCのWindows 10/11の「ライセンス」はどうなっている? 調べる方法をチェック! (2023年10月20日)
最新トピックスPR

過去記事カレンダー