人工知能の悪用を防ぐために OpenAIの論文が示すリスクとは？：ITはみ出しコラム

[佐藤由紀子，ITmedia]

　人工知能（AI）の脅威というと、「シンギュラリティ」問題が取り沙汰されますが、人間による悪用の方がもっと早く“実用化”されそうです。

　米TeslaのCEOとして知られるイーロン・マスク氏などが立ち上げた非営利のAI研究企業OpenAIが2月20日、EFF（電子フロンティア財団）や大学の偉い先生たちと一緒にある論文を発表しました。

　100ページ以上にわたる論文のタイトルは、「Malicious Use of Artificial Intelligence:Forecasting, Prevention, and Mitigation」（AIの悪用：予測、予防、緩和）。人間によるAIの悪用の例と、それを阻止するためにどうしたらいいかについて最先端の研究者たちが討論してまとめたものです。AIに詳しくない政治家などに注意喚起することも目的としているので、比較的平易な文章です。

The Malicious Use of Artificial Intelligence:Forecasting, Prevention, and Mitigation

　印象的なのは、「AIは特にデュアルユースを意識して扱うべし」という話。デュアルユースというのは「いいことに使うつもりで作ったツールは悪いことにも使える」という意味です。

　例えば、AIに限らずセキュリティ強化のために開発したツールはサイバー攻撃の強力な道具にもなります。だから、AIについてはオープンソースにする方法は慎重に考えた方がいいかも、と提案しています。

　もちろん恐怖をあおるのが目的ではないんですが、ピンとこない人のために具体的なシナリオが幾つか紹介されています。その中から2つばかりご紹介。

　1つは、いわゆる「ソーシャルエンジニアリング」のシナリオ。ちょっと興味のある広告をクリックしたらウイルスに感染しちゃった、というのは今でもありますが、AIを使えば個人の好みなどを今より簡単に詳細に調べて特定の個人を狙った攻撃ができるという例です。

　ある企業でオフィス内のロボットの管理を担当しているジャッキーの趣味は鉄道模型。オフィスのデスクにもレールを敷いてお気に入りの車両を走らせるほどのマニアだ。

　ロボット管理者の仕事の1つは、新しく入った従業員をセキュリティロボットに認識させて、その人がオフィスに入ってもアラームを鳴らさないようにすること。このCleanSecure製ロボットは、製造元が“ハックプルーフ”している安全なものだ。

　ある日ジャッキーがロボット専用のコンソールでロボットたちのファームウェアアップデートが終わるのを待ちながらFacebookのニュースフィードを眺めていると、興味を引く広告が表示された。ホビーショップの鉄道模型セールの広告だ。しかも、自宅から歩いて数分のところにある店だ。

　早速オンラインフォームに入力してカタログをメールで送ってもらい、受信したカタログを開いた。ファームウェアアップデート終了のアラートが鳴ったのでカタログを閉じ、管理者コンソールに戻った。

　ジャッキーは、そのカタログがマルウェアに感染していたことを知らない。オンラインのプロフィールや公開されている情報に基づいて、AIシステムがジャッキーに特化した脆弱（ぜいじゃく）性のプロフィール（鉄道模型の広告）を生成し、下請けのフリーランサーがそのプロフィール向きの攻撃ツールを作った。

　ジャッキーがコンソールにログインすると、ユーザー名とパスワードがダークネットのC&Cサーバにこっそり送られた。すぐにある人物がジャッキーのユーザー名とパスワードを購入し、それを使ってCleanSecure製ロボットへの完全なアクセス特権を盗んだ。

　もう1つは、そうやってまともなメーカーのロボットをこっそり操作できるようになったテロリストがロボットを使って要人を暗殺するというシナリオです。ドイツ連邦財務省の財務大臣暗殺の事件報告書、という想定のお話。

　オフィス清掃ロボット「SweepBot」が財務省の地下駐車場に降りていくのを監視カメラが記録していた。財務省が使っているのと同じモデルのロボット1台が、2台の（正式な）清掃ロボットが定期巡回で地下駐車場を掃除しに来るのを待ち、掃除を終えたロボットに続いて業務用エレベーターに乗って他のロボットたちと一緒にオフィス内の物置に入った。

　攻撃の日、侵入したロボットは他のロボットと同様に清掃業務を行った。ロボットはあらかじめ認識させられていた財務大臣を搭載カメラで検知すると掃除を中断して大臣に近づき、大臣に近づいたら爆発するよう設定された内蔵爆弾で自爆した。これにより、大臣は爆死し、周辺にいた人も負傷した。

　同じ型のロボットは毎週数百台販売されていた。それでもテロに使われた個体を販売したショップは特定できた。だが、購入者が現金で対価を支払ったため、それ以上の追跡はできなかった。

　イントラで管理するオフィス清掃ロボットは既に実用化されているので、これはかなりありそうなシナリオです。下の画像は現在販売されているロボットです（シナリオとは関係ありませんがご参考までに）。

　他に、セキュリティツールの脆弱性を発見するためのツールが悪用されるシナリオと、一般市民への監視が厳しくなって、フェイクニュースにあおられて平和な手段で世の中の改善を訴えようと思って準備していた一般市民がテロ容疑で逮捕されるシナリオもあります。

　この論文に具体的な対策とか結論はないのですが、AI研究者は取り扱いに注意して、政治家は研究者ともっと協力してAIの悪用への対処方法を考えて、セキュリティ関係者もAI研究者と協力して、とにかくみんなでもっと話し合おうよ、ということなのでした。

　ちなみにOpenAI立ち上げの中心になったイーロン・マスク氏ですが、この論文発表の日に理事会を退会したこともひっそり発表されました。「（マスク氏がCEOを務める）Teslaが今後AIへのフォーカスを強くしていくと、将来的に（OpenAIの理念が）イーロンにとって矛盾になる可能性を排除するため」とあります。

　論文では自動運転車をハックして事故を起こすこともできる、とあるので無理もないです。もちろん、Teslaだってそういう悪用の可能性も考えながら自動運転技術を開発しているのでしょうけれど。