ITmedia NEWS > 社会とIT >
ITmedia AI+ AI活用のいまが分かる

ChatGPTでの業務効率化を“断念”──正答率94%でも「ごみ出し案内」をAIに託せなかったワケ 三豊市と松尾研の半年間(1/2 ページ)

» 2023年12月15日 16時14分 公開
[松浦立樹ITmedia]

 「ごみ出し案内」業務にはChatGPTを“活用しない”と決断した──生成AIを使った業務効率化を検証してきた、香川県三豊市がそんな発表をした。ChatGPT登場から1年がたち、今や職場に導入する企業・自治体も増え、中にはすでに一定の成果を出した事例もある。三豊市でも、ごみ出し案内業務の効率化を図ろうとしたが、思うようにはいかなかった。

香川県三豊市、ごみ出し案内業務へのChatGPT導入を“断念”

 今回の事例では、日本のAI研究の権威である松尾豊教授の「東京大学大学院工学系研究科松尾研究室」(松尾研)も協力。約半年間、実証実験に取り組んできた。なぜ、三豊市ではChatGPTを使って業務効率化できなかったのか。三豊市に話を聞いた。

なぜ、ごみ出し案内をChatGPTに託したのか?

 三豊市が実証実験を始めたのは6月1日。サービス内容は「市民からのごみの分別や収集日に関する問い合わせに対して、三豊市のごみに関する学習をしたAIが24時間自動応答する」というもので、松尾研と共同開発した。スマートフォンやPCで市のWebサイトを訪れることで利用できるサービスとして開設して市民に実際に利用してもらい、検証した。

5月に開いた記者会見の様子 松尾豊教授もリモートで参加していた

 三豊市にChatGPTでの実証実験を始めた経緯を聞くと「市のWebサイトにもごみ出し案内の情報は掲載しているが、質問したい内容を探す必要があった。ChatGPTを使えば、知りたい情報にすぐ回答できると思った」と話す。また、市の環境衛生課には日々5〜10件程度のごみ出しに関する問い合わせがあり、その内容によっては業務として数時間要することも。市の業務効率化を図る狙いもあった。

ごみ出し案内サービスの利用画面

 他にも、三豊市では外国人市民が増加傾向にあるため、50カ国以上の言語に対応し、24時間対応可能とすることで、彼らに対する新たなサービスになるとも考えたという。

改善重ね、正答率は94%まで到達 しかし……

 今回の実証実験は大きく2つのフェーズに分けられる。前半(6月1日〜7月7日)では、約1週間のスパンで誤答を分析した。例えば「学習していない品目に対して誤答したケース(例:ファブリーズの捨て方など固有名詞があるもの)」「学習していたのに正しい回答ができなかったケース」「回答はできたが情報量が不十分だったケース」など正しく回答できなかった事例の改善を試みた。

 この期間中のAIの正答率は62.5%という結果に。誤答の分析を試みても、正答率は大きく上がらなかったため、一度実証実験は中止することとなった。そこで改善点として、以下の4点を変更した。

  • 大規模言語モデルをGPT-3.5からGPT-4に変更
  • 1問1答形式から対話形式に変更(不足情報があるとAIが判断にした場合、ユーザーに対して質問する)
  • AIによる推測情報の表示(AIの推測が間違っていた場合、ユーザーからの指摘を促し、AIが回答の修正を行うことを期待)
  • 返答のリアルタイム表示(GPT-4に変えた際、やや応答が遅くなったため、回答を全て生成してからの表示ではなく、リアルタイム表示にして、待ち時間の体感が短くなることを期待)

 これらの改善を終えた10月23日から実証実験を再開。11月30日まで検証したところ、正答率は94.1%まで向上した。

 なお、松尾研は実験中、随時状況を分析して改善方法などを市に提案。実証実験中とそれ以外の期間で、ポイントとなる出来事がおきた際には報告書を提出しており、その後のスケジュールについて市と協議を行い進行していた。

 しかし、三豊市では本格導入の条件を“正答率99%”としていたため、今回ごみ出し案内へのChatGPTの導入は見送られることになった。

       1|2 次のページへ

Copyright © ITmedia, Inc. All Rights Reserved.