ミスを指摘されたSakana AI、「AI CUDA エンジニア」の評価誤りを認める 性能は確実に向上

Sakana AIは2025年2月に発表した「AI CUDA エンジニア」について、性能評価が過大にされていたことを認めて謝罪した。再調査で性能向上は確認されたものの、初期の速度評価に誤りがあった。

[後藤大地，有限会社オングス]

　Sakana AIは2025年3月3日、「X」（旧Twitter）の公式アカウントで「AI CUDA エンジニア」の初期発表において性能を過大に評価していたことを認め、謝罪した。同社が再調査を実施した結果、全体的な性能向上を確認したものの、当初発表した最大速度向上の数値には誤りがあった。

　「AI CUDA エンジニア」はLLMでPyTorchコードを高度に最適化されたCUDAカーネルに自動変換することを目的としたエージェントフレームワークだ。進化的最適化の技術を適用することでより高速なカーネルを生成し、AIモデルの実行速度を大幅に短縮できるとしていた。しかし公開後すぐに、その実行速度の妥当性に疑問の声が上がった。

　Sakana AIで改めて内部調査を行った結果、当初発表されたデータの速度最大値に誤りがあった。一方で再検証の結果、AI CUDA エンジニアによる最適化は依然として有意な性能向上をもたらしていることも確認された。

　今回のミスについて同社は「今後はチェック体制を強化し、再発防止を徹底する」と述べ、論文の改訂版を公開する予定であることを明らかにした。

　AI CUDA エンジニアはCUDAカーネルの自動生成と進化的最適化を組み合わせたシステムであり、従来の手動による最適化をAIで置き換えることで、より高速かつ効率的なAIモデルの開発を目指している。Sakana AIは今後もこの技術を発展させ、AIの計算コストを大幅に削減することを目標としている。