「人を審査するAI」のリスクとは？ 現金給付アルゴリズムが“暴走”した世界銀行の事例：事例で学ぶAIガバナンス（3/3 ページ）

世界銀行は、貧困層向けの現金給付プログラムの受給者を自動的に選別するアルゴリズムを開発した。しかし、アルゴリズムに不備があり、本来受け取れる人たちも選ばれない事態に。AIの暴走を防ぐためにも重要なのが「透明性」の確保だ。

[小林啓倫，ITmedia]

AIを外部から監視する重要性

　この結果、ヒューマン・ライツ・ウォッチは世界銀行に対して「アルゴリズムによる意思決定を使用している、世界銀行の全ての融資プログラムについて、アルゴリズム監査を実施し、公表すること」を要求。

　ヨルダン政府に対しては「ターゲティング・アルゴリズムが家計所得の推定に使用する57の指標全てと、各指標に割り当てられた重みの公表」「家計支出・所得調査に関するデータセットなど、貧困に苦しむ人々に対するタカフルの有効性を、一般市民が精査できるようなデータの公表」などを提言した。

　こうした対応が取られれば、アルゴリズムに対する一定の透明性が実現されるだろう。もちろん透明性が実現されたからといって、自動的に状況が改善されるわけではない。今回のヒューマン・ライツ・ウォッチによる報告書も、ある意味でタカフルに透明性をもたらすものだが、それに基づいて世界銀行やヨルダン政府が行動を改めなければ意味がない。

　しかし、重要なのはAIが問題なく動いているのかどうか、外部から検証可能になるという点だ。世界銀行も、そしてヨルダン政府も、意図的に弱者を排除しようという考えはないだろう。アルゴリズムを開発する時点では、公正な指標に基づいた効率化が行われるように取り組んでいたはずだ。

　ヒューマン・ライツ・ウォッチの報告書も「貧困を対象としたプログラムは、誤りや不始末、腐敗が起こりやすく、対象としている人々の多くに行き届かないことが日常茶飯事」とし、世界銀行が進める技術の活用には、そうした不正を排除するという利点があることを認めている。

　一方、開発者や政策決定者が想定していなかった状況（浪費ではない支出など）や、社会や制度に根付いたゆがみ（法律上の女性の差別など）によって、アルゴリズムが期待通りに機能しないことは容易に起こり得る。それが正常に機能したとしても、例えばCOVID-19のパンデミックによって社会的・経済的状況が一変するように、現実にそぐわないものになるリスクは常に存在する。

　そうした事態の発生を検知するには、システムをチェックする人々の目を多くすることが有効だ。そして開発者や運用者がシステムの情報を隠すのではなく、できる限り分かりやすくそれを公開すれば、誰もが検証に参加できる。それこそ透明性がAIガバナンスに貢献する仕組みであり、多くの企業において「AI倫理宣言」のような文書の一部に組み込まれている理由となっている。

　特に福祉政策のように社会的なインパクトが強い領域においてAIを導入する際は、透明性の実現は、導入を進める政府や機関の義務であるといえるだろう。政府系組織でなくても、例えば医療や金融のように公共性の高い事業では、AIの透明性確保が社会的責任を果たす上で強く求められる。世界銀行のような組織でもアルゴリズムの暴走が容易に起きてしまうことを、企業は認識するべきだろう。