こども家庭庁のAIが約6割の案件で判断ミスしたのはなぜか？ ベンダーの分析を読む

こども家庭庁は児童相談所の業務における生成AIの活用を検討する中で「一時保護の判断に資するAIツール」のプロトタイプを制作していたが、試験運用の結果、精度に問題があった。野村総研の報告書から、“一時保護判定AI”が抱えていた課題について見ていく。

[谷井将人，ITmedia]

　こども家庭庁は2023年5月から「児童虐待防止対策部会」を開き、児童相談所の業務における生成AIの活用を検討している。その中で「一時保護の判断に資するAIツール」のプロトタイプを制作していた。

　同プロトタイプは2023年度末に完成したが、試験運用の結果、入力項目が多すぎる点や精度について問題が明らかになった。調査報告をした野村総合研究所は「現在のAI判定ツールのリリースは時期尚早」と結論付けている。

　同社の報告書から、“一時保護判定AI”が抱えていた課題について見ていこう。

100件中、高すぎ13件、低すぎ41件、使えない8件

　一時保護判定AIは、児童相談所に寄せられた相談事例について、状況を入力すると「一時保護スコア」や「再発スコア」を算出するシステムだ。一部の重大な虐待事例についてはルールベースでの判定も使う。

「児童相談所におけるAIの利活用について」（こども家庭庁）

　効果検証には全国10自治体が協力した。児童相談所職員がシステムに事例の情報を入力し、出力された判定結果と児童相談所の幹部クラス職員の判断を比較して性能を評価するとともに運用負荷を調べた。

　判定制度については、身体的虐待案件のうち家庭環境が複雑でないケースやルールベースでの判定は妥当だったが、100件の検証ケースのうち13件が（実際より）「高い」、41件が「低い」、8件が判断に「使えない」と評価された。

　中には「母に半殺し以上のことをされた」という相談や「床に頭をたたきつけられた他暴行を加えられたがあざが残らなかった」ケースなど、ベテラン職員が「直ちに一時保護すべき」とした事例を一時保護の必要はないと判定することもあった。

AIの性能というより……

　検証で見つかった課題の一つが、システムに適切な評価項目が不足していたことだ。今回のシステムには一時保護の判断をするに当たり重視すべき項目が不足しており、判定に必要な情報を入力できない場合があったという。

　例えば「ネグレクトで子供の体重は減っているが標準体重の範囲内である」「自宅トイレで出産したが健康状態に問題はない」といった事例が検証段階で見つかった。

課題2　評価項目が詳細でない

　もう一つの課題が、評価項目はあるものの粒度が適切でなく、判定に情報を正しく反映できない点だ。帰宅拒否や傷については有無のみを記入することになっており、「帰宅拒否の深刻度」「傷の範囲や深さ」といった程度や範囲を拾えなかった。

「児童相談所業務におけるAIの利活用の在り方に関する調査研究（効果検証結果中間報告）」（野村総合研究所）

　これらの影響で「継続的に対応しているが改善が見られない」「同じ事象が繰り返されている」「リスクが変化した」といった要素を評価できず、見逃すことがあった。

　同システムで想定していた項目以外にも一時保護の判断に影響するものは多くあり、判定のための情報が不足していることが分かった。一方でそれらを全て項目に落とし込むことは非現実的であり、できたとしても入力負荷が高いことなどからシステムのリリースは時期尚早との判断になった。

　野村総合研究所は児童相談所におけるAI活用について「定型業務にAIを適用して業務負荷軽減を図る」「面談音声の書き起こしや要約作成ツールの開発が求められている」など、生成AIをリスク判定より業務効率化に使う方向性を示している。