2015年7月27日以前の記事
検索
ニュース

Deep Researchが犯す「微妙な間違い」はどう見抜く? AIで追加調査する方法その悩み、生成AIが解決(1/2 ページ)

詳細なリサーチを行うDeep Researchなどのツールは、調べもののあり方を大きく変えた。ただし、これらのリサーチ系ツールが間違いを犯さないわけではない。ChatGPTのDeep Researchを例に、AIを使って出力結果をチェックし、追加調査を行う方法を解説する。

Share
Tweet
LINE
Hatena
-

連載:その悩み、生成AIが解決

アイデアが浮かばない、こんな無駄な作業なくしたい――。ビジネスパーソンを悩ませる日々のさまざまな困りごと、ChatGPTに聞いてみませんか? ITジャーナリストの酒井麻里子氏がプロンプトの書き方を伝授する。

Q.Deep ResearchなどのWebの情報を詳細に調べるAIツールでも、出力内容がおかしいケースがあるようです。間違いを効率的にチェックする方法はありますか?

 Web検索が統合され、調べものに生成AIツールを使うことが日常的になった。特に大量のソースに基づいて詳細なリサーチを行うDeep Researchなどのツールは、調べもののあり方を大きく変えた。

 ただし、これらのリサーチ系ツールが間違いを犯さないわけではない。ChatGPTのDeep Researchを例に、AIを使って出力結果をチェックし、追加調査を行う方法を解説する。


ChatGPTのDeep Researchを例に、AIを使って出力結果をチェックし、追加調査を行う方法を解説する。写真はイメージ(ゲッティイメージズ)

著者プロフィール:酒井麻里子(さかい・まりこ)

ITジャーナリスト/ライター。生成AIやXR、メタバースなどの新しいテクノロジーを中心に取材。その他、技術解説やスマホ・ガジェットなどのレビューも。著書に『趣味のChatGPT』(理工図書)、『先読み!IT×ビジネス講座ChatGPT』(共著・インプレス)など。Yahoo!ニュース公式コメンテーター。株式会社ウレルブン代表。XRと最新テクノロジーのWEBマガジン「TechComm-R」運営。


タチの悪い「微妙な間違い」が出力されやすい

 Deep Researchでどんな間違いが出力されやすいかを知るには、仕事でも趣味でも構わないので、自分がある程度の予備知識を持っているテーマを調べてみるとよい。例えば、日本のラッコについてリサーチしたレポートでは、以下のような記述が出力された。上段がレポートの冒頭部分、下段はレポートの後半の記述だ。


赤線部分は2023年のニュース記事を、青線部分は2025年の最新の情報を参照している

 冒頭で、「国内最後のオス個体だったリロは2025年1月4日に17歳で死亡しており、現在日本の水族館で生きているラッコは鳥羽水族館の2頭だけ」との記載があるにもかかわらず、後半の繁殖における課題について言及した箇所では、「国内の残る個体は既に寿命に近付いており、繁殖可能な年齢を過ぎているため子孫を残すことが困難です」と、“高齢で繁殖は難しいものの、オスも現存する”と取れるような記載がある。

 これは、異なる時期に公開された記事から引用した情報をつなぎ合わせていることによって生じたものだ。

 じっくり読めば時間経過にともなって国内に残る個体数が変化したことは把握できるものの、やはり違和感がある。この他にも残存する頭数や個体の年齢が矛盾する箇所が散見している。

 このタイプの“致命的なミスではない、微妙な間違い”はサラッと読み流すと見落としがちなので、全くのデタラメよりかえってタチが悪いともいえる。

出力結果をチェックするときに使えるプロンプト

 出力されたレポートは人間がしっかり読んで確認することが大原則だが、AIを使ったチェックを併用することで、より精度を上げることができる。

 確認には、Deep Researchではない通常のチャット機能を使用する。使用モデルは、じっくり考えることを得意とするo3-miniなどの推論モデルがおすすめだ。新規チャットを開き、下記のプロンプトに続けてレポートの全文を貼り付ければよい。

プロンプト

以下のレポートについて、内容が矛盾している箇所や誤っている可能性のある箇所を指摘してください。

(レポートの全文をコピー&ペーストする)

 レポートをコピーすると、ソースのリンクが記載された箇所が長いURLになるが、気にせずそのまま貼り付けてしまって問題なさそうだ。プロンプトを送信すると、不自然な箇所を指摘した回答が返ってくる。

回答

以下のレポートには、以下のような矛盾点や事実誤認、あるいは解釈の不整合が見受けられます。

1. 時系列・個体数の混乱

  • 文章中では「2023年時点で国内に残るラッコは3頭のみ」と記述されている一方、後半では「国内最後のオス個体だったリロが2025年1月4日に死亡し、現在日本の水族館で生きているのは鳥羽水族館の2頭だけ」とまとめられています。

→ 時系列が混在しており、2023年と2025年とで「現在」の個体数が変わっている点は矛盾しています。

2. 飼育施設ごとの記述の不整合

  • 表中ではサンシャイン水族館、神戸市立須磨海浜水族園、マリンワールド海の中道など、各施設での導入時期や終了時期、現在の飼育数が示されていますが、本文中の数字(例:「国内に残るラッコは3頭」)と照らすと、どの施設の数字を基準にしているのか、また各施設間での統一性がとれていない印象を受けます。

3. 保護区分・国際規制の混同

  • レポートでは、ワシントン条約による輸入規制やIUCNによる絶滅危惧種指定(Endangered)とともに、「環境省レッドリストで絶滅危惧IA類(CR)」と記述されています。

→ 通常、CR(Critically Endangered=絶滅危惧種中でも特に危険な状態)とEndangeredは異なる分類です。国内外での保護区分がどの基準に基づいているのかが明確でなく、分類基準が混同している可能性があります。

(後略)

 なお、Deep Researchでは、レポートの出力後に同じ画面内で内容について追加質問できる。簡単に済ませたいなら、追加質問としてこのプロンプトを送ってチェックすることも可能だ。ただし、実際に何度か試した体感としては、新規チャットにレポート全文を貼り付ける方法のほうが、チェックの精度が高くなる印象がある。

 続いて、指摘された矛盾点について、正しい情報を調べるための方法も教えてもらおう。「Deep Research用のクエリとして記載して」と指示すれば、そのままDeep Researchで使えるものが出力される。

プロンプト

指摘の事項について正しい情報を知るためにリサーチするべきことを、Deep Research用のクエリとして記載してください。その際、関連性のある項目はひとつのトピックとしてまとめてください。

 Deep Researchをかける回数を減らすため、指摘事項のうち関連性のある項目はまとめてクエリを作成するよう指示した。今回のケースでは、飼育個体数に関する指摘事項がまとめられている。

回答

1. 飼育時系列と個体数の正確な推移

クエリ例:

  • 「日本国内の水族館におけるラッコの飼育開始年、ピーク時の個体数、最新(2023年〜2025年)の生存個体数の公式統計や報告書」
  • 「各水族館(鳥羽水族館、サンシャイン水族館、マリンワールド海の中道、神戸市立須磨海浜水族園、アドベンチャーワールド等)ごとのラッコ飼育の開始時期・終了時期および現在の状況について」

2. 保護区分と国際規制の正確な情報

クエリ例:

  • 「ワシントン条約(CITES)、国際自然保護連合(IUCN)、および日本環境省レッドリストにおけるラッコ(海ラッコ)の保護ステータスの違いや最新の分類基準」
  • 「各機関が定めるラッコの絶滅危惧度および取引規制の歴史的変遷と現状」

(後略)

 「何を調べればよいか」を教えてもらえるだけで、確認プロセスはぐっと楽になる。

Copyright © ITmedia, Inc. All Rights Reserved.

       | 次のページへ
ページトップに戻る