1バイト違えば不合格のCOBOL移行、OpenAI新モデルの正解率は？：AIニュースピックアップ

学習リソースの少ないCOBOLやFortranを、AIはどこまで扱えるのか。OpenAIは、20言語でデータベースエンジンを構築するテストで、新モデルの平均合格率が従来モデルの26.8％から87.4％に伸びたと発表した。では、既存のCOBOLプログラムを別の言語に書き換える評価では、どんな結果が出たのか。

[ITmedia]

　OpenAIは2026年10月19日（現地時間）、COBOLやFortran、Visual Basicなど学習リソースの少ないプログラミング言語について、最新モデルのソフトウェアを開発・移行する能力が向上したと発表した。

　同社によると、COBOLはオンラインバンキングシステムの40％超とATM取引の95％を支えている（注1）。一方で、こうした言語はPythonなどに比べ、モデルの学習に使えるコードやドキュメントが少ない。

　同社は、こうした言語を扱うモデルの能力を測る2つの評価を開発した。1つ目の「MultiLangBench」は、20種類のプログラミング言語でモデルがSQLite互換のデータベースエンジンを一から構築できるかを検証する。2つ目の「COBOL移行評価」は、既存のCOBOLプログラムの動作を維持したまま別の言語に移行できるかを検証する。

　MultiLangBenchでは、推論量を最大に設定した「GPT-6 Astra」が20言語の平均テスト合格率87.4％を記録し、従来モデル「GPT-5.6 Sol」の26.8％から向上した。COBOLは、合格率が従来モデルの10.9％から72.1％に上がったものの、引き続き最も難しい言語だという。

図1　MultiLangBenchにおけるモデル別の平均テスト合格率（出典：OpenAIのブログ）

　もう一方のCOBOL移行評価では、推論量を低く設定したGPT-5.6 Solの正解率が1割に満たなかった。

「1バイトでも違えば不合格」のCOBOL移行、正解率は？

　新しいモデルにおける正解率とAPIコストはどう変わったのか。

　OpenAIによると、COBOLプログラムは金融取引や業務記録の処理に頻繁（ひんぱん）に使われ、丸め規則やレコード欠損時の処理といった細部に業務要件が反映されている。例えばCOBOLの固定小数点演算では、丸めを明示的に指定しない限り、余分な小数桁は切り捨てられる。書き換え後のプログラムが余分な桁を切り捨てずに丸めてしまうと、エラーなく動作していても金額の計算結果が変わる可能性がある。

　そこで同社は、観測可能な出力がバイト単位で完全に一致することを求める、モデルには内容を開示しない非公開テストでモデルを評価し、全てのテストに合格した場合にのみ移行が成功したと判定する。移行先はC++、Java、Kotlin、Python、Rustの5言語だ。

　COBOL移行評価では、推論量を低く設定したモデル「GPT-6.1 Sol」が86.6％の正解率を達成した。同じ設定でのGPT-5.6 Solの正解率は5.4％だった。GPT-6.1 SolのAPIコストは、GPT-5.6 Solの61％に抑えられている。推論量を増やすと正解率は97.9％に達し、この評価の上限に迫っているという。

図2　COBOL移行評価における正解率と、採点対象の試行当たりの平均コスト（出典：OpenAIのブログ）

　ただしOpenAIは、モデルによる移行を本番のソフトウェアに適用するには、引き続き専門家によるレビューと、システムの業務ルールや依存関係に照らしたテストが必要だとしている。MultiLangBenchの評価環境とテストスイートは、ソフトウェア開発プラットフォーム「GitHub」で公開している。

（注1）IBM「What is COBOL?」。OpenAIは発表の中で、これらの数値の出典として同ページにリンクしている。