こども家庭庁の“虐待判定AI”　検証報告に書かれた見送りの背景　「判定の6割に疑義」「重大な見落とし」

　虐待が疑われる子どもの一時保護の必要性を判定するAIシステムについて、こども家庭庁が導入の見送りを決めたと報じられている。このシステムを検証した結果の資料は、2024年12月末に同庁と野村総合研究所から資料が公開されており（こども家庭庁の報告書、NRIの報告書）、誰でも見ることができる。

　報告書ではこのシステムについて、職員が入力する項目が多い割には、けがの深さを入力できないなど、反映できないリスク情報が多く、「約6割のケースでスコア疑義が生じた」上に「重大な見落とし」もあったため、「リリースは時期尚早」だとまとめられている。

　システムは、所定の項目の該当・非該当を職員が入力すると、「一時保護スコア」「再発スコア」などを算出する。2022年度から開発をスタートし、23年度末にプロトタイプがほぼ完成。報道によると10億円かけて開発したという。

　その後、10の自治体の児童相談所に協力してもらい、過去100事例で試行検証を行ったところ、判定結果の6割が、児相の幹部クラスの所感と異なっていたという。

　身体的虐待で、家庭環境が複雑でないケースでは、比較的妥当なスコアが算出されたが、入力項目が現実の事例とマッチせず、正しく入力・判定できないケースも多かった。

　例えば、「重篤なネグレクトで体重減少がみられるが、減少率が規定の範囲より少ない」「保護を求めていなくても、子どもが養育者におびえている」などの項目はツールにそもそも存在せず、リスク情報を入力できなかった。

　「けががあるが浅い／深い」「頭部・顔面でも特に危険な部位への傷がある」など、該当項目はあるが、程度や範囲が適切に反映できないケースもあった。

　具体例としては、児相が一時保護を判断する決め手になった「母に半殺し以上のことをされた」などの子どもの訴えや、「服をつかまれ床に頭部を叩きつけられたり殴る蹴るがあったが、あざとして残らなかった」といった項目を適切に入力・判定できず、リスクを過小評価していたケースがあったという。

この記事の著者

関連記事

• 

  生成AIによるリメイク漫画「児童福祉司　一貫田逸子」が話題　全ページフルカラー化、コマ割りも再現　ネットでは意見さまざま

• 

  AIが少年に“親殺しのすすめ”、小学生女児とは“過激な性的会話”　保護者がAI開発企業を提訴　米テキサス州

• 

  デジタル庁、生成AIの活用事例を公開　行政業務にAIは貢献できるか？　“10の学び”を解説

• 

  AIの利用・導入、契約上の注意点は？　経産省がチェックリスト公開