「Claude Haiku 5.5」は本当にコスパがいいのか？　3つの日本語タスクで検証してみた

　米Anthropicは10月7日（現地時間）、同社モデルの中で最軽量の「Claude Haiku 5.5」（以下、Haiku 5.5）をリリースした。同社は「コスト重視、速度重視のタスクに適している」とうたっているが、日本のビジネスパーソンの利用シーンでその性能は本当に生きるのか。上位モデルの「Claude Sonnet 5.5」（以下、Sonnet 5.5）、競合モデルの「GPT-6 Luna」と比較検証した。

　なお、今回の検証は10月9日時点のものであり、モデルの性能は今後のアップデートで変わる可能性がある。

検証方法

　検証のお題は（1）納期遅延のお詫びメール、（2）走り書きメモからの議事録作成、（3）海外取引先からの英文メールの要約・論点整理・英文返信、の3つ。いずれもツールやWeb検索は使わせず、プロンプトに記載した情報だけで回答させた。

　3モデルそれぞれで思考量の設定を「medium」と「max」にして各3回生成し、計54回答を得た。採点はAnthropicの「Claude Fable 5.1」（以下、Fable 5.1）と米OpenAIの「GPT-6 Astra」に10点満点で依頼し、両者の平均点（小数第二位を四捨五入）を主な指標とした。審査員にモデル名や設定は伏せた。9〜10点はそのまま使え、7〜8点は限定的な修正、5〜6点は重要な内容修正が要るという目安だ。

　回答のクオリティと共に、回答にかかった時間とコストも検証する。時間はCLI（「Claude Code」と「Codex」）の起動から終了まで、費用はCLIが報告した実トークン量にAPI料金（1ドル＝158円換算）を掛け合わせた換算値だ。平均時間は小数第二位、1回答当たりの費用は小数第三位を四捨五入している。

課題1：納期遅延のお詫びメール　Haikuは字数を守るが、Lunaに及ばず

　課題1は、取引先への納期遅延のお詫びメールを、数量・日付・代替案を明示しつつ400〜600字程度で書かせるタスク。結果は以下の通りだ。

　回答のクオリティは、mediumではGPT-6 Lunaが平均8.8点で最も高く、Haiku 5.5は8.0点とSonnet 5.5（8.3点）と僅差だった。Haiku 5.5は依頼した字数を3回とも守り、Sonnet 5.5は1回超過した。maxではSonnet 5.5が9.5点と抜け出す一方、Haiku 5.5は7.8点とむしろ下がった。タスクによっては思考量を増やしてもクオリティが上がらない可能性がある。

　時間と費用を見ると、mediumではSonnet 5.5が8.1秒で答え、Haiku 5.5（9.7秒）より速かった。費用はHaiku 5.5が1回答0.13円でSonnet 5.5（1.42円）の約11分の1だったが、GPT-6 Luna（0.09円）はさらに安い。maxのHaiku 5.5は123.8秒・2.05円と、mediumの約13倍の時間と約15倍の費用をかけて点を下げたことになる。Sonnet 5.5のmaxは9.5点と最も高いが、1回答に271.3秒・61.70円を要した。

　Haiku 5.5の減点は、依頼にない返信期限を本文に加えたこと（medium）や、本文では「見込み」とした10月31日納品が日程一覧では確定納期のように書かれたこと（max）などで、GPT-6 Astraは後者を意思決定を誤らせる重要な誤りとして6点にした。定型文書であっても、AIに書かせた場合は日付などの重要な情報の確認は欠かせない。

課題2：走り書きメモからの議事録　HaikuはSonnetと同点、Lunaは担当者を取り違え

　課題2は、週次会議の走り書きメモを「決定事項」「ToDo（担当者・期限）」「保留・懸念事項」に整理させ、メモにない情報は推測で補わず「要確認」と書かせるタスクだ。結果は以下の通り。

　mediumのHaiku 5.5は平均7.2点でSonnet 5.5と同点。時間は11.6秒とSonnet 5.5（16.4秒）より短く、費用は1回答0.18円とSonnet 5.5（3.22円）の約18分の1だった。maxでもSonnet 5.5との評価の差は小さく、この課題ではHaiku 5.5の安さが生きそうだ。

　GPT-6 Lunaのmediumはメモに記載された担当者を読み違えるなどのミスで5.50点にとどまった。maxではミスが減り7.3点に上がった。それでも19.3秒・0.24円と、同じ7.3点のHaiku 5.5のmax（104.2秒、1.90円）に比べて時間は約5分の1、費用は約8分の1で済んでいる。

課題3：英文メールの要約・返信　Haikuは「立場」を取り違え、maxで解消

　課題3は、海外取引先から届いた契約条件の改定提案（支払サイトの短縮、最低発注数量の引き上げなど）を要約し、上司に報告する際の注意点を挙げ、「10月15日までに回答する」と伝える返信を書かせるタスク。モデル間で最も差が付く結果となった。

　Haiku 5.5のmediumは平均6.3点。Astraの採点は9点、4点、5点とばらつき、3回中2回は取引上の立場を取り違えたことで大きく減点となった。思考量をmaxに上げると8.2点まで改善し、立場の取り違えは3回とも消えた。ただし、そのmaxは1回答に254.1秒・4.68円を要した。費用はSonnet 5.5のmedium（25.3秒、4.69円）とほぼ同じで、時間は10倍かかり、点は下回る。

　GPT-6 Lunaは両設定とも最速・最安（medium 7.9秒・0.11円、max 12.7秒・0.18円）だったが、点は両設定とも6点台で、mediumでは原文にない情報を記載する誤りが3回とも出た。

　Sonnet 5.5のmediumは9.0点と安定しており、今回のような複雑なタスクにはSonnet以上のレベルのモデルが適していることが分かる。

第三者評価も「賢いが、トークンを食う」

　3課題全体の点数と生成時間、コストの平均は以下の通りだ。

　Haiku 5.5をmaxにすると、3課題平均の時間はmediumの12.6倍の160.7秒、換算費用は15.4倍の2.88円に膨らみ、Sonnet 5.5のmedium（16.6秒、3.11円、8.2点）とほぼ同じ費用になる。Haiku 5.5を限界まで考えさせるより、Sonnet 5.5を軽く使った方が速く、点も高い。Haiku 5.5のコスパが生きるのは、mediumで事足りる業務に限られそうだ。

　こうした傾向は第三者評価とも重なる。AIモデルの性能評価を手掛ける米Artificial Analysisの総合指標「Intelligence Index」でHaiku 5.5（max）は43ポイントと、前世代の「Claude Haiku 4.5」から26ポイント上昇し、GPT-6 Luna（38）を上回った一方で、maxのHaiku 5.5が1タスク当たり約16万2000のトークンを出力し、GPT-6 Lunaのmax（約5万）の約3倍に上るとArtificial Analysisは指摘する。

　Anthropicが公表するAPI価格は、プロンプトが10万トークン以下なら100万トークン当たり入力0.10ドル、出力0.50ドルで、Haiku 4.5の10分の1、GPT-6 Lunaと同額だ（10万トークン超は入力0.50ドル、出力2.50ドル）。Sonnet 5.5（入力2ドル、出力10ドル）とは20倍の開きがある。同社自身もHaiku 5.5の用途を要約や文脈の圧縮、サブエージェントといった「範囲の狭いタスク」と位置付け、複雑なエージェント型コーディングにはSonnet 5.5や「Claude Opus 5.5」が引き続き適するとしている。

安さは本物、ただし「任せる仕事」を選ぶ

　3課題・各3回という限られた条件での観測だが、Haiku 5.5のmediumはSonnet 5.5のmediumの約17分の1の費用で、定型的な文書ならほぼ同等の点を出した。「コスト重視のタスクに適している」という同社の説明は、この範囲では裏付けられたといえる。

　ただし、コスパと速さを求めるなら競合のGPT-6 Lunaに軍配が上がる。念入りなチェックを挟むことを前提に、軽量のタスクを大量に処理するのであればGPT-6 Lunaが適しているケースが多そうだ。

　また、複雑な文書を読み取り、正確な回答が求められる仕事で軽量モデルを使うと、安さの分だけ確認の手間が増える。Haiku 5.5（max）の回答を待つくらいなら、Sonnet 5.5（medium）でサクッと済ませた方がいいケースも多いだろう。本稿の検証を参考に、自身の普段のタスクでもHaiku 5.5のベストなユースケースを検討してみてほしい。

この記事の著者

関連記事

• 

  「Fable 5を全タスクに使う必要はない」　Anthropic開発者直伝のトークンコスト節約術

• 

  「Claude Sonnet 5」新登場　低コストでOpus 4.8に匹敵とうたうも、タスク当たりコスト増加との評価も

• 

  「GPT-6.1 Sol」登場　「一部Astra並み」性能をコスト5分の1で提供　先代モデルからわずか1週間で公開