AI「保護率39％」、児相は一時保護見送り…… 三重の“4歳女児暴行事件”をAIガバナンス観点で考える：事例で学ぶAIガバナンス（3/3 ページ）

[小林啓倫，ITmedia]

「AIの判断」を正しく認識するためのユーザー教育

　それでは今回の状況で、他にどのような対応が取れただろうか。本来は熟練の専門家が対応すべきテーマにおいて、そうした人材を大量にかつ短時間でそろえるのが非現実的な場合、AIを安全に運用するためには、何に注意が必要だろうか。

　さまざまな取り組みが考えられる中で、今回指摘しておきたいのは「AIの判断はどのような性質を持つものなのか」をユーザーが正しく認識することだ。

　前回の記事でも説明したように、AIシステムとユーザーの関係には、一種の「神格化」とも呼べるような依存関係が生まれる可能性が指摘されている。AIが何らかの判断を下すような仕組みを導入すると、それが運用される中で、AIのアウトプットを無批判に受け入れてしまうわけだ。皮肉なことに、AIが正しい判断をすればするほど「今回もきっと間違っていないだろう」という思い込みが生まれてしまう。

　医師という専門家ですら、自らの判断よりもAIの判断を信じる傾向があるという研究結果が出てきている状況では「経験3年未満の職員」にAIのはじき出した一時保護率をうのみにするな、という方が難しい。

　しかし「このAIがどのように結論を導き出したのか」を理解しておくことで、ユーザーはその結論とどう付き合うのが適切なのか考えられるようになるだろう。

　例えば今回のケースでは「保護率39％」は「虐待が起きる可能性が39％」という意味ではない。繰り返しになるが、過去の類似ケースにおいては、5回に2回の割合で一時保護が行われたという意味だ。それを理解していれば、ユーザーは「同じような状況でも保護に踏み切った事例があったのだ」という意識になれるだろう。では一時保護に踏み切ったケースでは何が決め手になったのだろうか、などとさらに検討を進めることができる。

　また「AIの出した数字は過去を反映したものにすぎない」という意識が頭の片隅にあれば、AIの学習後に新しい変化が起きていないか疑問を持つこともできる。NEDOのAiCAN紹介ページによれば、三重県が導入したAIシステムは判断根拠まで示されるようになっている。例えば「再発度が高い理由：頭部顔面腹部の傷アザが『はい』のため」といった説明がなされる。

虐待対応支援AIの画面イメージ（NEDOの公式Webサイトより）

　これはあくまで「過去はそうだった」という説明にすぎない。例えば「体にアザが確認されたことで一時保護の決断に至った」などといった報道が行われれば、虐待を明るみに出したくない親は子供の体のアザを隠そうとするだろう。そうした変化が起きているかもしれないと考えれば、AIのアウトプットをより批判的に解釈し、役立てられる。

　そうした意識をユーザーに持たせることは難しいかもしれない。6月には、米ニューヨーク州で実務歴30年のベテラン弁護士が書類作成にChatGPTを活用したところ、存在しない判例が出力されたのに気付かず、そのまま裁判所に提出してしまうという事件が起きた。

　ニューヨークタイムズ紙の報道では、この弁護士はChatGPTを「スーパー検索エンジン」だと勘違いしていたと述べたそうだ。弁護士ほど優秀な人物でも、AIとはどのような仕組みで動くアプリケーションなのか、理解していなかったわけだ。

　それだけに、ユーザー教育の必要性と重要性は今後より強く意識されなければならない。新しいAIを導入する際に、ユーザーとなる人々にマニュアルを配って終わり、では全く不十分だ。オンラインの学習講座を受講させ、オンラインテストの合格をAIシステム利用IDの配布条件にする、などといった対応も検討すべきだと考えられる。

　このような対応は、すこし大げさに感じたかもしれない。確かにユースケースによっては、それほど厳格な対応を求めなくても良い可能性がある。しかし今回の事件のように、人の命を左右するテーマにもAIが導入される時代だ。自動車のハンドルを握る人間に運転免許証が要求されるように、特定のAIにおいては、ユーザーにそれを扱う資格があるのかを厳しく問う必要があるだろう。