生成AI「Claude」の品質がここ1カ月微妙だった3つの原因

生成AIチャットサービス「Claude」を提供するAnthropicは、同サービスの生成品質が低下していた問題について、3つのバグが原因になっていたと報告した。

[ITmedia]

　生成AIチャットサービス「Claude」を提供するAnthropicは9月17日（現地時間、以下同）、同サービスの生成品質が低下していた問題について、3つのバグが原因になっていたと報告した。

出力品質が低いとの報告相次ぐ

　Claudeでは8月初旬から9月初旬にかけて、ユーザーから出力品質が低下しているとの報告が寄せられたという。Anthropicはサーバ負荷などを理由にモデルの品質を下げることはなく、原因はバグにあったとしている。

　最初にバグの発生が検知されたのは8月5日で、当初は出力の問題が通常の品質のブレと区別できない程度だったという。8月下旬にはユーザーからの報告が増加したため、原因の調査を始めた。

問題1　リクエストが意図しないサーバに割り当てられるエラー

　8月5日にはサーバのルーティングエラーが発生した。本来は、Claudeで提供しているモデル「Sonnet 4」へのリクエストは、ユーザーが入力したプロンプト（指示文）や出力テキストの長さなどを基準に適切なサーバで処理するが、エラーの発生でリクエストが意図しないサーバに送信され、出力品質に影響が出た。

　8月31日には1時間に16％のリクエストでルーティングミスが発生し、コーディングツール「Claude Code」では約30％のユーザーに影響が出た。

　問題は9月4日に修正した。ClaudeのモデルはGoogleの生成AIサービス「Vertex AI」やAmazon Web Servicesの「Amazon Bedrock」でも提供されており、Vertex AIでは9月16日に修正を適用済みだ。Amazon Bedrockは対応中。

問題2　サーバの設定ミスで出力が破損

　8月25日には、出力が破損するエラーが発生した。ユーザーが英語で質問した場合に、回答にタイ語や中国語が含まれるなど、通常生成される可能性が低いテキストが回答に混入する可能性があった。

　原因はClaude APIのTPU（機械学習向けプロセッサ）サーバに不適切な設定が適用されたことだという。9月2日にサーバ設定を修正するとともに、意図しないテキストの混入を検出するテスト機能を追加した。

問題3　品質改善コードがバグと衝突

　Anthropicは8月25日にClaudeの改善を適用したが、この変更でコンパイラのバグを引き起こしたことで問題が発生した。9月12日までに修正を完了した。

　問題の発生から修正プログラムの適用まで約1カ月かかった理由についてAnthropicは、同社のエンジニアがユーザーのやりとりに自由にアクセスできないため問題の再現や調査が難しかったこと、症状や発生するプラットフォームが分散しており共通点を見つけにくかったこと、評価手法が不十分だったことなどを挙げている。

　Anthropicは今後、評価手法の改善と実施範囲の拡大、迅速な対応に向けたツールの導入などを実施する。