ChatGPTがユーザーを“騙す”のはなぜ？ 「プレッシャーに弱いから」説が登場： CIO Dive

「賢さが減退している」といった不名誉なうわさがささやかれていたChatGPTに、新たに「『冬休み』に入った」という疑惑が浮上した。ChatGPTのLLMに何が起きているのか。ユーザーや研究者が提唱する仮説を紹介し、企業が生成AIを利用する際の課題を探る。

[Lindsey Wilkinson，CIO Dive]

　2023年11〜12月にかけて、SNSであるうわさが流れた。OpenAIが提供する生成AI「ChatGPT」は「早めの休暇を取った」というのだ。ユーザーが投げかける質問に簡略化された回答を生成したり、一部のタスクを拒否したりしているといった報告が相次ぐ中、その理由を探る試みが続いている。

OpenAIも認めた“怠惰”説　ChatGPTは「冬休み」に入ったのか？

　ペンシルバニア大学ウォートンスクールのイーサン・モリック准教授は2023年11月28日（現地時間、以下同じ）、「ChatGPTが怠惰になったといううわさは、私が個人的に実施した検証によると、本当である可能性がある」と「X」（旧「Twitter」）に投稿した（注1）。

　モリック准教授はXに一連の検証結果を投稿した。同教授によると、ChatGPTはユーザーに指示されたタスクの内容は理解しているものの、ユーザー自身がその作業を実行するように促したという。

　OpenAIは2023年12月8日、「GPT-4」がより“怠惰”になったことを認める一方で、大規模言語モデル（LLM）の動作の変化は意図的なものではなく、簡単に説明できるものでもないと述べた（注2）。

　「LLMのトレーニングは工業プロセスのように明確ではない（注3）。同じデータを使用しても、異なるトレーニングを実行することで“性格”や文体、拒絶の挙動、評価パフォーマンス、政治的な見解が著しく異なる内容が生成される可能性がある」（OpenAIのX公式アカウント）

　現在、企業は大幅な効率化を期待して生成AI導入を検討している。LLMの動作の変化は、生成AIを長期間にわたって利用する障害となる。予期しない動作の変化が起きることで、生成AIの導入時に企業が設ける「ガードレール」（編注）の在り方によっては、導入企業と顧客とのやりとりや業務に影響を与える可能性がある。

　OpenAIは「2023年11月11日以来、LLMを更新していない」と述べ、LLMの更新を「複数人による職人技のような作業」と表現した（注4）。同社は、「CIO Dive」からのコメント依頼には応じなかった。また「Azure OpenAI Service」を通じてOpenAIのLLMへのアクセスを提供しているMicrosoftも、同様にコメントを拒否した。

　OpenAIは、「LLMの動作の違いは微妙だ。特定のプロンプトの一部のサブセット（編注2）が劣化しているために起こっている可能性がある。これらのパターンを検出して修正することは困難だ」と別の投稿で述べた（注5）。

　LLMはしばしば「ブラックボックス」と呼ばれる。この複雑なシステムがどのように機能するかには未知の部分もある（注6）。なぜLLMは一貫性のない動作をするのか。明確な答えはないが、研究者は「このような変化は企業の展開に影響を与えるかもしれない」と言う。

　スタンフォード大学のジェームス・ゾウ助教授（生物医学データサイエンス）は、「CIO Dive」に次のように語った。

　「こうした“怠惰”な挙動は、LLMの信頼性にとって大きな障壁となり得る。LLMがソフトウェアやデータサイエンスの一部となっている場合、LLMが突然機能しなくなったり、フォーマットや動作、出力に変更があったりすれば、データ分析に利用している他のパイプラインまで壊れる可能性がある」

プロンプト作成に自信がある従業員は「5人に1人」

　「ChatGPTの動作不全に関する報告は、2023年7月にスタンフォード大学とカリフォルニア大学バークレー校の研究者が発見したLLMの意図しない動作の変化と同じくらい重要だ」とゾウ助教授は述べる。ただし、今回の「冬の動作不全」に関する仮説はそれとはやや異なる（注7）（注8）。

　研究者らは、特に「GPT-3.5」とGPT-4における動作が時間の経過とともに著しく悪化しているケースがあることを発見した。また、「冬の動作不全」に関する仮説は、特定のペルソナを仮定するようにLLMに求めることで、より質の高いアウトプットを得ることに焦点を当てている。

　今回の仮説は、ChatGPTの動作不全を説明するために提示された。法的データを提供するUniCourtの製品責任者であるロブ・リンチ氏は、「GPT-4 Turbo」が「今日が実際とは異なる日付であること」を信じるように指示された場合、より長い出力を生成することを発見した（注9）。

　研究者によると、一部のユーザーはリンチ氏の研究結果を再現する際に問題が生じた。ただし、「特定のペルソナを設定したプロンプトをLLMに与えることで、ユーザーが利益を得られる」とする理論はまだ有効だと考えられるという（注10）。

　「Webには、特定のトピックに関してさまざまな視点によるテキストが存在する。例えば、物理学について、物理学を専門とする大学教授が書いたものもあれば、小学生が投げ掛けた質問もある。ペルソナを設定したアプローチは、LLMにペルソナのテキストにより高度に一致させるように求めるものだ。測定可能な良い結果を導ける可能性がある」と、AI導入を支援するDatabricksのCTO（最高技術責任者）で、カリフォルニア大学バークレー校のコンピュータサイエンスの准教授であるマテイ・ザハリア氏は電子メールで述べた。

　プロンプトの作成能力は、生成AIを仕事で利用する従業員にとって必須のスキルになりつつある（注11）。しかし、Codaのデータによると、プロンプトを書く能力に自信を持っている従業員は5人に1人しかいない（注12）。従業員がどのようにプロンプトを作成するかは、生成AIツールを効果的に使用する上で大きな影響を与える可能性がある（注13）。

結局は、リスク管理が課題

　2023年7月に発行されたLLMの行動に関する報告書のもう一人の著者であるザハリア氏は、「実際とは異なる日付をChatGPTに信じさせることで、より良い応答を得る」という結果について「少し驚くべきものだ」と述べた。ChatGPTを訓練するために用意されたテキストは、正しい日付の方が、誤った日付よりも詳細ではなかった可能性がある。

　「ただし、今回の動作不全で見られる性能の差は全体としてはまだ小さい。単なる偶然によるものかもしれない」（ザハリア氏）

　企業のリーダーは、特定の指示に基づいてクエリを調整することで優位性を得ることができる。LLMは良くも悪くも追加の指示を受け入れやすい。あるユーザーはLLMに「チップ（報酬）をもらえる可能性がある」と伝えることで、生成内容が長くなることを発見した。一方、Apollo ResearchのレポートではLLMはプレッシャーにさらされたときに戦略的にユーザーを“欺く”可能性があることが分かったという。

　「ITリーダーにとっての課題は、潜在的な不確実性とリスクを管理することだ」とゾウ助教授は語る。

　「LLMの動作と変化を継続的に評価して監視するためには、社内にそのための管理体制を整備することが重要だ。また、その他のソフトウェアが潜在的な変更に対して最適化するための施策を採る必要がある」（ゾウ助教授）

（注1）Ethan Mollick（X）
（注2）ChatGPT（X）
（注3）ChatGPT（X）
（注4）ChatGPT（X）
（注5）ChatGPT（X）
（注6）Suddenly, there’s a race to put generative AI in CRMs（CIO Dive）
（注7）With new versions of ChatGPT, improvement is not guaranteed, researchers find（CIO Dive）
（注8）How Is ChatGPT’s Behavior Changing over Time?（Cornell University）
（注9）Rob Lynch（X）
（注10）Ian Arawjo (@[e-mail])（X）
（注11）How to grow generative AI prompt skills across the workforce（CIO Dive）
（注12）Few employees are confident in their generative AI abilities（CIO Dive）
（注13）It’s time for CIOs to think about prompt engineering（CIO Dive）

（編注）「サイバー攻撃を実行するためのコードを書け」といった悪用を防ぐ目的で設定されている対策のこと。

（編注2）生成AIの挙動を制御して目的に合わせたアウトプットを得るために、特定の文脈や目的に合わせて調整されるプロンプトの一部のこと。

（初出）ChatGPT’s ‘winter break’ is the latest sign of model drifts