ITmedia NEWS > 社会とIT >
ITmedia AI+ AI活用のいまが分かる

「AIが神格化した世界」はディストピアか? AIの誤判定で“3万人超”の人生狂わせたオランダ政府の事例事例で学ぶAIガバナンス(1/2 ページ)

» 2023年07月03日 08時00分 公開
[小林啓倫ITmedia]

 5月、AIの安全性に関して発信しているNPO団体「Center for AI Safety(CAIS)」から、ある声明が発表され注目を集めた。それは「AIリスクに関する声明(Statement on AI Risk)」。「AIは人類を滅ぼす」とするセンセーショナルな内容と、生成AI「ChatGPT」の開発企業、米OpenAIのサム・アルトマンCEOなどが署名していることから大きな話題を呼んだ。

CAISが発表した「AIは人類を滅ぼす」という声明

 この声明にはAIが人類を滅ぼす具体的な根拠は書かれていないが、CAISのWebサイトではいくつかのシナリオを提示している。「AIが武器化する」「AIによって偽情報が拡散される(それによって社会が崩壊する)」「AIによって生活が便利になり過ぎ、それに甘えた人類が衰退してしまう」などだ。

AIは人類を滅ぼすのか?

 今回の声明に対する賛否は専門家の間でも分かれており、議論の決着はついていない。しかし、人類が滅ぶとまではいかなくても、既にAIはさまざまな形で私たちの生活に実害をもたらすようになっている。特に大きな被害が出た事件はオランダで起きた“不正検知AI騒動”だ。

 この事例ではどんな技術を使っているか詳細を明かしていないため、記事内では“機械的なアルゴリズム”という広い意味でAIと表現する。

自殺者まで出したAIのアルゴリズム

 CAISの声明に先立つことおよそ1カ月前の4月。レナーテ・ウォルバースさんという女性とそのパートナー、ユルン・ウォルテリンクさんの2人が、オランダ政府を相手に起こした民事訴訟で勝利を収めた。訴訟内容は、オランダ政府が彼らを児童手当の不正受給者と誤認し、その返済で厳しい生活を強いたというものだった。

,勝訴したレナーテ・ウォルバースさんとユルン・ウォルテリンクさん

 レナーテさんとユルンさんは収入が乏しかったことから、2005年から児童手当を受け取っていた。ところが08年末、オランダ当局は突然、彼らの申請が不正ではないかとの疑いを持った。10年には不正受給であったと正式に認定し、彼らに児童手当と関連諸経費の返済を求めた。

 報道によれば、その総額は9万2000ユーロ(およそ1400万円)にも達したという。もともと児童手当が必要だったほど家計が苦しかったレナーテさんたちは、その返済に大きな犠牲を強いられることになる。1週間の食費が10ユーロ(およそ1500円)しかないこともあったほどの苦しさで、5人の子供のうち上の2人は、ホストペアレントに引き取られることになった。彼らのもとに生まれた孫2人の顔も、まだ見られていないという。

 ところが19年、この不正認定が誤りであったことが明らかになった。実はオランダ政府は、児童手当の不正受給を効率的に把握し、払い過ぎていたお金を回収する(彼らも厳しい予算の中で迅速に国民を支援する必要があった)ために、AIによる不正検知に取り組んでいたのである。

 そのアルゴリズムに不適切な点があり、レナーテさんのような家族を生み出してしまっていた。別の報道によれば、その数は3〜7万人ともいわれ、レナーテさんのケースのように親元から引き離されることになった子供は1000人以上、さらには自宅の売却を余儀なくされたり、自殺したりする人も出たという。実際にレナーテさん以外にも、彼らと同様の裁判が合計6件起こっている。

オランダ政府はなぜ誤認定を起こしたか?

 なぜこのような不手際が発生したのか。原因についてさまざまな分析が行われているが、その一つとして指摘されているのが、アルゴリズムに偏見が含まれていたことである。

 オランダでは外国から移住してきた人々、外国籍を持つ人々による各種手当の不正受給が発生しており、「Bulgarenfraude」(ブルガリア人による不正)などという名前が付けられる事件も発生している。これは、医療費や家賃の補助を目的とする給付金を不正に受け取ったとされる事件だ。

 不正を判断するアルゴリズムには国籍や民族がパラメータの一つとして組み込まれており、それが偏見を生み出す原因となったようだ。オランダ当局に対する監査を行ったプライスウオーターハウスクーパース(PwC)の報告によると「非西洋人的な外見」が判断要因として使われるケースまであったそうである。

 人種や民族などを何らかの予知のパラメータとすることは、必ずしも不適切な行為ではない。医療診断のように、身体的な違いが判断を大きく(そして正確に)左右する一因となる場合があるからだ。

 しかし、さまざまな要因が複雑に絡み合う社会問題においては、人種や民族をパラメータに含める際、それがバイアスを生まないよう慎重に対応する必要がある。実際にオランダのケースでは、その慎重さが十分でなかったために、大規模な誤認を生むAIをつくり出してしまったわけである。

       1|2 次のページへ

Copyright © ITmedia, Inc. All Rights Reserved.