こども家庭庁の“虐待判定AI” 検証報告に書かれた見送りの背景 「判定の6割に疑義」「重大な見落とし」
虐待が疑われる子どもの一時保護の必要性を判定するAIシステムについて、こども家庭庁が導入の見送りを決めたと報じられている。このシステムを検証した結果の資料は、2024年12月末に同庁と野村総合研究所から資料が公開されており(こども家庭庁の報告書、NRIの報告書)、誰でも見ることができる。
報告書ではこのシステムについて、職員が入力する項目が多い割には、けがの深さを入力できないなど、反映できないリスク情報が多く、「約6割のケースでスコア疑義が生じた」上に「重大な見落とし」もあったため、「リリースは時期尚早」だとまとめられている。
システムは、所定の項目の該当・非該当を職員が入力すると、「一時保護スコア」「再発スコア」などを算出する。2022年度から開発をスタートし、23年度末にプロトタイプがほぼ完成。報道によると10億円かけて開発したという。
その後、10の自治体の児童相談所に協力してもらい、過去100事例で試行検証を行ったところ、判定結果の6割が、児相の幹部クラスの所感と異なっていたという。
身体的虐待で、家庭環境が複雑でないケースでは、比較的妥当なスコアが算出されたが、入力項目が現実の事例とマッチせず、正しく入力・判定できないケースも多かった。
例えば、「重篤なネグレクトで体重減少がみられるが、減少率が規定の範囲より少ない」「保護を求めていなくても、子どもが養育者におびえている」などの項目はツールにそもそも存在せず、リスク情報を入力できなかった。
「けががあるが浅い/深い」「頭部・顔面でも特に危険な部位への傷がある」など、該当項目はあるが、程度や範囲が適切に反映できないケースもあった。
具体例としては、児相が一時保護を判断する決め手になった「母に半殺し以上のことをされた」などの子どもの訴えや、「服をつかまれ床に頭部を叩きつけられたり殴る蹴るがあったが、あざとして残らなかった」といった項目を適切に入力・判定できず、リスクを過小評価していたケースがあったという。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
孫正義氏が明かす、アンソロピック出資見送りの舞台裏 「僕の失敗」「あん時入れときゃよかった」
-
2
孫正義氏が「墓石に刻んでほしい」と明かした言葉 流した涙、もう「時間との勝負」やり残したことは?
-
3
「GPT-6.1 Terra」は半額 それでもなぜ企業はAIモデルを選べないのか?
-
4
「オントロジー」とは結局何なのか Palantir、Databricks、Snowflake、NVIDIAで中身が違う理由
-
5
AIの精度が低くて使えない――JA共済連がたどり着いた「AIエージェントの育て方」
-
6
「GLM-5.3-Flash」「DeepSeek-V4.1-Flash-1017」が月3000リクエストまで無料 さくらのAI推論基盤で提供
-
7
「Claude Fable 5」「Mythos 5」全面停止 米政府の指令により Anthropicは早期復旧を宣言
-
8
AnthropicのIPOに応募6倍、OpenAIは調達縮小 AI投資に「選別」の波
-
9
NotionのAIチャット流出おそれ、幹部が日本での対応状況明かす 「心よりおわび」
-
10
ファミマが「AIロボット」本格導入へ 飲料補充に活用、作業時間の約7割を削減
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR