ChatGPTの“汚名返上”なるか？ 「さぼりがち」と噂のGPT-4 Turboがアップデート：CIO Dive

「以前よりも賢くなくなった」「さぼりがち」といった不名誉なうわさが付きまとってきたChatGPT。GPT-4 Turboのアップデートでこうした“雑音”は一掃されるだろうか。

[Lindsey Wilkinson，CIO Dive]

　OpenAIが提供するチャットbot「ChatGPT」の有料版LLM（大規模言語モデル）「GPT-4」の能力を拡張したプレビューモデル「GPT-4 Turbo」が、アップデートされた。これは、2023年1月25日（現地時間）にOpenAIが実施した多数の新モデルのリリースの一環で、同社によると、今回のアップデートによって改善されたのは、より正確なコード生成などだ（注1）。

なぜChatGPTに「不具合」が発生するのか？　　

　アップデートされたGPT-4 Turboは果たして「働き者」になったのだろうか。また、これまで起きていた「不具合」の原因は何だろうか。

　「アップデート後のGPT-4 Turboは、以前よりもコード生成のようなタスクを徹底的に完了させる。タスクを完了しない『怠慢』さを減らすことを意図している」とOpenAIは同社の公式ブログで述べた。

　OpenAIは、エイリアス機能を導入した。これによってGPT-4 Turboのユーザーは自動的にプレビューモデルや将来のアップデートに自動的にリダイレクトされる。同社は今後数カ月のうちに、画像を分析対象にするLMM（大規模マルチモーダルモデル）「GPT-4 Turbo with vision」を一般提供を開始すると述べた。

　OpenAIは2023年11月に開催されたスタートアップ向けDev Day（商品発表会）で、GPT-4 Turboのプレビュー版を公開し、業界と顧客の関心を集めた（注2）。OpenAIによると、リリース以来、GPT-4にアクセスするためのAPIである「GPT-4 API」のユーザーのリクエストにおける70％以上がGPT-4からGPT-4 Turboに移行した。

　しかし、GPT-4 Turboは必ずしもユーザーの指示通りに機能するわけではなかった（注3）。タスクが拒否されたり、中途半端なレスポンスしか生成されないこともあった。

　OpenAIはユーザーからのクレームを受け、2023年12月にチームがこの問題を調査していると述べた。また、LLMをトレーニングする複雑性を強調した（注4）。

　「新しいLLMをリリースする際には、オフラインの評価指標とオンラインのA／Bテストの両方で徹底的なテストを実施している。これらの結果を全て受け取った後、新しいLLMが実際のユーザーにとって以前のモデルよりも改善されているかどうかをデータに基づいて判断するようにしている」（OpenAI）

　研究者は「LLMトレーニングの小さな変更でさえ、管理や検出が難しいトリクルダウン効果をもたらす可能性がある」と、「CIO Dive」に語った。LLMの最適化は現在も進行中だ。

（注1）New embedding models and API updates（OpenAI）
（注2）5 OpenAI, ChatGPT updates for CIOs to watch（CIO Dive）
（注3）ChatGPT’s ‘winter break’ is the latest sign of model drifts（CIO Dive）
（注4）ChatGPT（X）

（初出）OpenAI updates GPT-4 Turbo preview model to combat laziness

原文へのリンク