AIしくじり物語 なぜ、AIは「偏見」を抱くのか：失敗例に学ぶ（2/3 ページ）

[小林啓倫，ITmedia]

　このAIアプリケーションが目標としていたのは、採用活動の支援だ。有名企業であれば当然だが、アマゾンのポジションには多数の応募者があり、人事担当者は書類選考するだけでも多くの時間を取られてしまう。そこでアマゾンは、AIに履歴書のデータを読ませて、2次以降の（人間による）選考に進むべき候補者を選ばせることを思い付き、検討を進めてきた。

　報道によれば、こうして開発されたAIは、応募者の履歴書を5点満点で評価するというものだった。候補者を点数の高い順に並べ、上位の人物から人間による面接を行うわけである。もちろんあらゆる職種で同じAIを使うわけではなく、個々のポジションや勤務地別に判断を行う「モデル」がおよそ500種類作成されたそうだ。

　新たな候補者の履歴書データが与えられると、モデルは履歴書上でどのような単語が使われているかを分析し、そこから候補者の好ましさを把握して得点を算出する。特に5万語の単語がキーワードとされ、特定の単語の有無で加点や減点が行わる仕組みだった。

　すると奇妙な点が確認された。履歴書の中に女性に関連するキーワードが含まれていると、その応募者の評価が下がっていたのである。つまりAIが、女性を不当に下に見るという偏見を抱えていたわけである。実際にこの不具合のために、評価を下げられていた女性応募者がいたことも確認された。

写真はイメージです

　なぜこのような結果になってしまったのか。その一因は、アマゾンがAIを開発する際に、社内に蓄積されていた過去の履歴書データ（およそ10年間分）を使用していたことにあった。

　アマゾンは現在のAI開発におけるスタンダードの一つである、機械学習を使ってこのAIを構築していた。機械学習では、AIに何らかのデータが与えられ、AIはその中にある何らかのパターンを見いだしてモデルを構築する。例えばシステムエンジニア職にコンピュータ科学専攻の学部生が多く採用されているというパターンが見いだされれば、AIは「応募者の履歴書にコンピュータ科学専攻と記載されていれば評価を上げる」というモデルをつくるわけである。

　問題は、これまでアマゾンへの応募者に男性が多く、採用でも多くの男性が選ばれていたことにあった。このデータを見たAIが、男性が多く選ばれているというパターンを見いだし（そこには本当に面接官が女性を差別して評価を下げたというケースも含まれているかもしれないが、多くは単に大部分の応募者が男性だったからという環境上の理由によるものだ）、結果的に女性にとって不利となるモデルをつくってしまったのである。

　ただこうした偏りや不均衡は、あらゆるデータに見られるものであり（例えば、男性と女性の社員がほぼ半々という企業の方が珍しいだろう）、通常はそうした不均衡が大きな影響を及ぼさないようデータの内容や与え方を調整したり、運用面で対応したりする。

　アマゾンも偏見の存在に早くから気付き、改善を試みていたと報じられている。それでも利用停止という判断に至ったという事実は、「AIの偏見という問題をどう回避するか」という問いに対し、満足できる答えを出すことは簡単ではないと示しているといえるだろう。

偏見が命にかかわることも

　アマゾンのケースでは、女性を（結果的に）低く評価してしまうAIが同社にもたらす不利益は、優秀な候補者を取り逃がしてしまっていたかもしれないという機会損失だった。それは決してささいな問題ではないが、アマゾンはAIが拾い上げた候補者の中から優秀な人物を選んで採用することができ、また拾い上げられなかった優秀な女性候補者も、他の就職先を見つけることができただろう。発生した損失は、それほど大きくはないと考えられる。

　しかし同じような構図の問題が、取り返しのつかない結果をもたらしてしまう場合もある。今年8月、医療情報学の学術誌『Journal of the American Medical Informatics Association』に掲載された論文で、ある問題が指摘されている。