ChatGPTでの業務効率化を“断念”──正答率94％でも「ごみ出し案内」をAIに託せなかったワケ 三豊市と松尾研の半年間（1/2 ページ）

[松浦立樹，ITmedia]

　「ごみ出し案内」業務にはChatGPTを“活用しない”と決断した──生成AIを使った業務効率化を検証してきた、香川県三豊市がそんな発表をした。ChatGPT登場から1年がたち、今や職場に導入する企業・自治体も増え、中にはすでに一定の成果を出した事例もある。三豊市でも、ごみ出し案内業務の効率化を図ろうとしたが、思うようにはいかなかった。

香川県三豊市、ごみ出し案内業務へのChatGPT導入を“断念”

　今回の事例では、日本のAI研究の権威である松尾豊教授の「東京大学大学院工学系研究科松尾研究室」（松尾研）も協力。約半年間、実証実験に取り組んできた。なぜ、三豊市ではChatGPTを使って業務効率化できなかったのか。三豊市に話を聞いた。

なぜ、ごみ出し案内をChatGPTに託したのか？

　三豊市が実証実験を始めたのは6月1日。サービス内容は「市民からのごみの分別や収集日に関する問い合わせに対して、三豊市のごみに関する学習をしたAIが24時間自動応答する」というもので、松尾研と共同開発した。スマートフォンやPCで市のWebサイトを訪れることで利用できるサービスとして開設して市民に実際に利用してもらい、検証した。

5月に開いた記者会見の様子　松尾豊教授もリモートで参加していた

　三豊市にChatGPTでの実証実験を始めた経緯を聞くと「市のWebサイトにもごみ出し案内の情報は掲載しているが、質問したい内容を探す必要があった。ChatGPTを使えば、知りたい情報にすぐ回答できると思った」と話す。また、市の環境衛生課には日々5〜10件程度のごみ出しに関する問い合わせがあり、その内容によっては業務として数時間要することも。市の業務効率化を図る狙いもあった。

ごみ出し案内サービスの利用画面

　他にも、三豊市では外国人市民が増加傾向にあるため、50カ国以上の言語に対応し、24時間対応可能とすることで、彼らに対する新たなサービスになるとも考えたという。

改善重ね、正答率は94％まで到達　しかし……

　今回の実証実験は大きく2つのフェーズに分けられる。前半（6月1日〜7月7日）では、約1週間のスパンで誤答を分析した。例えば「学習していない品目に対して誤答したケース（例：ファブリーズの捨て方など固有名詞があるもの）」「学習していたのに正しい回答ができなかったケース」「回答はできたが情報量が不十分だったケース」など正しく回答できなかった事例の改善を試みた。

　この期間中のAIの正答率は62.5％という結果に。誤答の分析を試みても、正答率は大きく上がらなかったため、一度実証実験は中止することとなった。そこで改善点として、以下の4点を変更した。

• 大規模言語モデルをGPT-3.5からGPT-4に変更
• 1問1答形式から対話形式に変更（不足情報があるとAIが判断にした場合、ユーザーに対して質問する）
• AIによる推測情報の表示（AIの推測が間違っていた場合、ユーザーからの指摘を促し、AIが回答の修正を行うことを期待）
• 返答のリアルタイム表示（GPT-4に変えた際、やや応答が遅くなったため、回答を全て生成してからの表示ではなく、リアルタイム表示にして、待ち時間の体感が短くなることを期待）

　これらの改善を終えた10月23日から実証実験を再開。11月30日まで検証したところ、正答率は94.1％まで向上した。

　なお、松尾研は実験中、随時状況を分析して改善方法などを市に提案。実証実験中とそれ以外の期間で、ポイントとなる出来事がおきた際には報告書を提出しており、その後のスケジュールについて市と協議を行い進行していた。

　しかし、三豊市では本格導入の条件を“正答率99％”としていたため、今回ごみ出し案内へのChatGPTの導入は見送られることになった。