AIでコーディングはどのくらい高速化できる？→実際は遅くなっていた 米国チームが実験 原因5つを特定：Innovative Tech（AI+）

米国のAI研究機関であるModel Evaluation & Threat Research（METR）に所属する研究者らは、コーディングにおいて、AIツールを使うとどれくらい開発が効率化するかを調査した研究報告を発表した。

[山下裕毅，ITmedia]

Innovative Tech（AI+）：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。

X： ＠shiropen2

　米国のAI研究機関であるModel Evaluation & Threat Research（METR）に所属する研究者らが発表した論文「Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity」は、コーディングにおいて、AIツールを使うとどれくらい開発が効率化するかを調査した研究報告だ。

AIでコーディングはどれくらい高速化できる？→実際は19％遅くなった

　実験では、16人の経験豊富なオープンソース開発者が参加した。開発者らは過去に平均5年間で、大規模リポジトリ（平均2万3000スター、110万行のコード）において246のタスクを完了している。これらの課題には、バグ修正、機能追加、リファクタリングなど、通常の開発業務で扱うような多様なタスクが含まれていた。

　実験対象の各課題は無作為にAI使用可能群か、AI使用不可群に割り当てられた。AI使用可能群では、開発者は任意のツールを選べ、主にClaude 3.5 SonnetとClaude 3.7 Sonnetを搭載したCursor Proを使用。これらは実験時点での最先端モデルであった。

　AI使用不可群では、生成AI支援なしで作業を行った。各タスクの平均所要時間は約2時間で、開発者は作業中画面を録画し、実装に要した総時間を自己申告した。

実験の概要

　開発者たちは実験前、AIが24％作業を高速化すると予測していたが、実際には課題の完了に19％多くの時間を要した。さらに実際に遅延を経験した後でも、AIが20％高速化したと信じていた。

開発者自身はAIによる大幅な速度向上を予測（緑色）したが、実際にはAIを使用することで作業時間が19％増加（赤色）

（左）予測した実施時間の平均、（右）観測された実施時間の平均

　研究チームは20の要因を分析し、5つの要因が速度低下に寄与していることを発見した。第1に、開発者のAIツールに対する過度の楽観主義がある。開発者は実際には遅くなっているにもかかわらず、AIが役立っていると信じ続けていた。

　第2に、開発者がリポジトリに高い習熟度を持っていたことだ。経験を持つ開発者にとって、場合によってはAIに頼らない方が効率的でAIの支援は限定的だった。第3に、リポジトリの規模と複雑性だ。平均10年の歴史を持つ大規模で複雑なコードベースは、AIの性能が制限された。

　第4の要因はAIの信頼性の低さだ。開発者はCursorが生成したコードの44％未満しか受け入れず、受け入れた場合でも大幅な修正が必要だった。画面録画の分析によると、開発者は作業時間の約9％をAI生成コードのレビューと修正に費やしていた。

AIを使用することで完了にかかった時間が遅れた要因

　第5に、リポジトリ固有の暗黙知の存在がある。例えば「このコードは一見不要に見えるが、5年前のバグ対応で追加したもので、削除すると特定の状況で問題が起きる」といった知識がある場合、長年の貢献者が持つ文書化されていない知識をAIは活用できず、その結果として有用性が低下した。

Source and Image Credits: Joel Becker, Nate Rush, Beth Barnes, David Rein. Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity