“がっかりAI”はなぜ生まれる？ 「作って終わり」のAIプロジェクトが失敗する理由：きょうから始めるAI活用（2/5 ページ）

[小林啓倫，ITmedia]

　連載第2回では、米Amazon.comの失敗についても解説した。採用候補者の履歴書を自動で審査するAIを開発したところ、女性よりも男性を高く評価する「偏見」を持つようになってしまったというものだ。この原因は、学習に使用した過去10年分の履歴書において、男性からの応募が大半を占めていたことにある。そして実際に大量の男性が採用されていたことで、AIが「女性」という性質を、低い点数を与えるシグナルと解釈してしまったわけだ。

　これは開発時の学習用データ準備の失敗ということになるが、環境や時代の変化によってAIの学習内容が時代遅れになってしまった事例という解釈もできるだろう。

　例えばいま、日本の企業がAmazonのように過去の履歴書を学習用データとした「履歴書審査AI」を導入したとしよう（ソフトバンクやサッポロビールなど、実際に採用プロセスにAIを活用する企業は既に登場している）。

　このAIは女性差別をしないように調整されているものの、過去の採用で応募してきたのは日本人ばかりだ。しかし今後、少子高齢化対策として日本で外国人が働きやすくなり、大勢の外国人がこの会社に応募するようになったとしたらどうだろうか。非常に優秀な外国人候補者がいても、AIは彼もしくは彼女を適切に評価できない恐れが大きい。

　このように、いくら過去のデータに基づいて優秀なAIを開発しても、その後の環境変化でAIのアウトプットが不適切なものになる可能性がある。そのためAIの判断精度を定期的に確認して、必要であれば新しいデータを使って「再学習」してやる必要があるのだ。

　AIアプリケーションの中には、最新のデータに基づいて自動的に再学習するものもある。しかしその場合も油断は禁物だ。知らないうちに、AIが予想もしない結果を返すようになってしまう恐れがあるためである。

　Amazonの採用AI同様、AIの失敗事例としてよく取り上げられるのが、米Microsoftが2016年にTwitter上で公開したチャットbot「Tay」（テイ）だ。

「Tay」（2016年3月当時）

　Tayは他のTwitterユーザーによるリプライを自動で「学習」して、より自然な会話ができるようになるという仕組みだった。しかしこの仕組みを悪用するユーザーが登場し、Tayにさまざまな問題発言をするように覚え込ませた結果、公開からたった数時間で人種差別や性差別的なツイートを投稿するようになってしまった（直後にMicrosoftはTayの公開を中止している）。

　このように、AIが問題のあるアウトプットを出していないかという観点でも、定期的な監視をして再学習を進める必要がある。