虐待が疑われる子どもの一時保護の必要性を判定するAIシステムについて、こども家庭庁が導入の見送りを決めたと報じられている。このシステムを検証した結果の資料は、2024年12月末に同庁と野村総合研究所から資料が公開されており(こども家庭庁の報告書、NRIの報告書)、誰でも見ることができる。
報告書ではこのシステムについて、職員が入力する項目が多い割には、けがの深さを入力できないなど、反映できないリスク情報が多く、「約6割のケースでスコア疑義が生じた」上に「重大な見落とし」もあったため、「リリースは時期尚早」だとまとめられている。
システムは、所定の項目の該当・非該当を職員が入力すると、「一時保護スコア」「再発スコア」などを算出する。2022年度から開発をスタートし、23年度末にプロトタイプがほぼ完成。報道によると10億円かけて開発したという。
その後、10の自治体の児童相談所に協力してもらい、過去100事例で試行検証を行ったところ、判定結果の6割が、児相の幹部クラスの所感と異なっていたという。
身体的虐待で、家庭環境が複雑でないケースでは、比較的妥当なスコアが算出されたが、入力項目が現実の事例とマッチせず、正しく入力・判定できないケースも多かった。
例えば、「重篤なネグレクトで体重減少がみられるが、減少率が規定の範囲より少ない」「保護を求めていなくても、子どもが養育者におびえている」などの項目はツールにそもそも存在せず、リスク情報を入力できなかった。
「けががあるが浅い/深い」「頭部・顔面でも特に危険な部位への傷がある」など、該当項目はあるが、程度や範囲が適切に反映できないケースもあった。
具体例としては、児相が一時保護を判断する決め手になった「母に半殺し以上のことをされた」などの子どもの訴えや、「服をつかまれ床に頭部を叩きつけられたり殴る蹴るがあったが、あざとして残らなかった」といった項目を適切に入力・判定できず、リスクを過小評価していたケースがあったという。
生成AIによるリメイク漫画「児童福祉司 一貫田逸子」が話題 全ページフルカラー化、コマ割りも再現 ネットでは意見さまざま
AIが少年に“親殺しのすすめ”、小学生女児とは“過激な性的会話” 保護者がAI開発企業を提訴 米テキサス州
デジタル庁、生成AIの活用事例を公開 行政業務にAIは貢献できるか? “10の学び”を解説
AIの利用・導入、契約上の注意点は? 経産省がチェックリスト公開Copyright © ITmedia, Inc. All Rights Reserved.