ChatGPTでの業務効率化を“断念”──正答率94%でも「ごみ出し案内」をAIに託せなかったワケ 三豊市と松尾研の半年間(1/2 ページ)
「ごみ出し案内」業務にはChatGPTを“活用しない”と決断──生成AIを使った業務効率化を検証してきた、香川県三豊市がそんな発表をした。実証実験には松尾研も協力したが、思ったような成果が出せなかったという。一体なぜか?
「ごみ出し案内」業務にはChatGPTを“活用しない”と決断した──生成AIを使った業務効率化を検証してきた、香川県三豊市がそんな発表をした。ChatGPT登場から1年がたち、今や職場に導入する企業・自治体も増え、中にはすでに一定の成果を出した事例もある。三豊市でも、ごみ出し案内業務の効率化を図ろうとしたが、思うようにはいかなかった。
今回の事例では、日本のAI研究の権威である松尾豊教授の「東京大学大学院工学系研究科松尾研究室」(松尾研)も協力。約半年間、実証実験に取り組んできた。なぜ、三豊市ではChatGPTを使って業務効率化できなかったのか。三豊市に話を聞いた。
なぜ、ごみ出し案内をChatGPTに託したのか?
三豊市が実証実験を始めたのは6月1日。サービス内容は「市民からのごみの分別や収集日に関する問い合わせに対して、三豊市のごみに関する学習をしたAIが24時間自動応答する」というもので、松尾研と共同開発した。スマートフォンやPCで市のWebサイトを訪れることで利用できるサービスとして開設して市民に実際に利用してもらい、検証した。
三豊市にChatGPTでの実証実験を始めた経緯を聞くと「市のWebサイトにもごみ出し案内の情報は掲載しているが、質問したい内容を探す必要があった。ChatGPTを使えば、知りたい情報にすぐ回答できると思った」と話す。また、市の環境衛生課には日々5〜10件程度のごみ出しに関する問い合わせがあり、その内容によっては業務として数時間要することも。市の業務効率化を図る狙いもあった。
他にも、三豊市では外国人市民が増加傾向にあるため、50カ国以上の言語に対応し、24時間対応可能とすることで、彼らに対する新たなサービスになるとも考えたという。
改善重ね、正答率は94%まで到達 しかし……
今回の実証実験は大きく2つのフェーズに分けられる。前半(6月1日〜7月7日)では、約1週間のスパンで誤答を分析した。例えば「学習していない品目に対して誤答したケース(例:ファブリーズの捨て方など固有名詞があるもの)」「学習していたのに正しい回答ができなかったケース」「回答はできたが情報量が不十分だったケース」など正しく回答できなかった事例の改善を試みた。
この期間中のAIの正答率は62.5%という結果に。誤答の分析を試みても、正答率は大きく上がらなかったため、一度実証実験は中止することとなった。そこで改善点として、以下の4点を変更した。
- 大規模言語モデルをGPT-3.5からGPT-4に変更
- 1問1答形式から対話形式に変更(不足情報があるとAIが判断にした場合、ユーザーに対して質問する)
- AIによる推測情報の表示(AIの推測が間違っていた場合、ユーザーからの指摘を促し、AIが回答の修正を行うことを期待)
- 返答のリアルタイム表示(GPT-4に変えた際、やや応答が遅くなったため、回答を全て生成してからの表示ではなく、リアルタイム表示にして、待ち時間の体感が短くなることを期待)
これらの改善を終えた10月23日から実証実験を再開。11月30日まで検証したところ、正答率は94.1%まで向上した。
なお、松尾研は実験中、随時状況を分析して改善方法などを市に提案。実証実験中とそれ以外の期間で、ポイントとなる出来事がおきた際には報告書を提出しており、その後のスケジュールについて市と協議を行い進行していた。
しかし、三豊市では本格導入の条件を“正答率99%”としていたため、今回ごみ出し案内へのChatGPTの導入は見送られることになった。
関連記事
- 困難だった“食べ歩き用プリン”開発 ChatGPTに解決を託した、とある乳製品メーカーの話 【プロンプト実例付き】
AIチャット「ChatGPT」と一緒に、“食べ歩き用プリン”を開発した──乳製品メーカーの山村乳業は、そんな発表をした。一体どのようにChatGPTを活用したのか、話を聞いた - 「イナズマイレブン」「妖怪ウォッチ」で画像生成AIを活用 レベルファイブのAI利用例が公開に
「イナズマイレブン」「レイトン教授」シリーズなどで知られるゲーム会社・レベルファイブは、画像生成AIの業務利用例を紹介した資料を公開した。 - 「このカップル、絵面が濃い」──オタ恋の“AI広告”が話題 運営「女性入会者数が3〜7倍増えた」 そのワケは
肥満体形の男性と、女性のツーショット写真──そんな画像広告を展開するマッチングアプリ「オタ恋」のAI広告が話題だ。この広告掲載後には、男性は1.5〜2倍程度、女性は3〜7倍程度、入会者が増加したという。 - Google、AIチャット「Bard」の活用法ランキング発表 雑談もランクイン
Googleは生成AIチャットボット「Bard」の2023年の活用法ランキングを発表した。日本での活用法トップは「調べもの」だった。Bardでは、画像を使った質問や回答に画像を含めることも可能だ。 - 有料版ChatGPT、新規登録を再開 約1カ月ぶり
米OpenAIのサム・アルトマンCEOは、AIチャット「ChatGPT」の有料版「ChatGPT Plus」の新規登録を再開したと発表した。
Copyright © ITmedia, Inc. All Rights Reserved.