ChatGPTはバグ修正に使えるの? ドイツと英国の研究者らが性能を分析:Innovative Tech
ドイツのJohannes Gutenberg University Mainzと英University College Londonに所属する研究者らは、ChatGPTが自動バグ修正にどれほどの精度を発揮するのかを検証した研究報告を発表した。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: @shiropen2
ドイツのJohannes Gutenberg University Mainzと英University College Londonに所属する研究者らが発表した論文「An Analysis of the Automatic Bug Fixing Performance of ChatGPT」は、ChatGPTが自動バグ修正にどれほどの精度を発揮するのかを検証した研究報告である。
プログラマーがソフトウェアのバグを発見し修正する作業を支援するために、バグ修正ソフトウェアパッチを自動的に提案する自動プログラム修正(APR)システムが導入されている。主要なAPRはコストがかかるため、実行可能なパッチが開発者に提示されるまでに数時間かかってしまう。
最近では、ChatGPTでもソースコードに関する議論、例えば不正なコードの修正案を求めることにも利用できる。だが、この提案の質はまだ不明である。
そこで、この研究ではChatGPTの自動バグフィックス性能を評価・分析する。実験では、ChatGPTやCodex、CoCoNut、標準のAPRの4つの異なるシステムに40個のバグのあるコード(QuixBugsベンチマークセット)を与えた。
ChatGPTには、コードと「このプログラムにはバグがあるのでしょうか?どのように修正すればよいのでしょうか?」という文章と共にチャット機能に入力する。またChatGPTのヒューリスティックな性質を考慮し、この問を4回繰り返す。さらにChatGPTにヒントを提供し、ChatGPTの修正率が向上するかどうかを確認する。
結果、ChatGPTはヒントなしに40問中19問の問題を解決し、Codexは21問、CoCoNutは19問、標準のAPRアプローチは7問を解決した。ChatGPTはCodexやCoCoNutと同等の性能を示し、標準のAPRアプローチより顕著に優れた結果を示した。
ChatGPTにチャット機能を介してヒントを与えると、今度は31問を解決し、他の比較対象を超えた。この結果は、ChatGPTの対話で要求をより詳細に指定できるという利点が成功率を高めることになった。
Source and Image Credits: Sobania, D., Briesch, M., Hanna, C., & Petke, J.(2023). An Analysis of the Automatic Bug Fixing Performance of ChatGPT. arXiv preprint arXiv:2301.08653.
関連記事
- ChatGPTの有料サブスク版「Plus」、月額20ドルで提供開始
OpenAIは、AIチャットサービス「ChatGPT」のサブスク版「ChatGPT Plus」を発表した。まずは米国で提供を開始する。月額20ドル(約2600円)だ。 - OpenAI、テキストが人間によるものかどうか判定するツールを無料公開
ChatGPTを手掛けるOpenAIは、テキストがAI生成かどうかを判定するツールを無料公開した。1000文字以上の英文であれば、比較的高い精度で判定できるとしている。特に教育関係者からのフィードバックを求めている。 - ChatGPTに「null」と「0」の違いを聞いたら…… AIは“たとえ”を操れるか
AIチャットbot「ChatGPT」に、人間には答えにくい質問や、答えのない問い、ひっかけ問題を尋ねてみたらどんな反応を見せるのか。ChatGPTの反応からAIの可能性、テクノロジーの奥深さ、AIが人間に与える“示唆”を感じ取ってほしい。 - ChatGPTに「AIの定義は?」と聞いてみたら 時代によって答が変わる問いにどう返す?
AIチャットbot「ChatGPT」に、人間には答えにくい質問や、答えのない問い、ひっかけ問題を尋ねてみたらどんな反応を見せるのか。ChatGPTの反応からAIの可能性、テクノロジーの奥深さ、AIが人間に与える“示唆”を感じ取ってほしい。 - ChatGPTと人間の違いは? 約4万件の質疑応答から中国の研究者らが分析
中国の上海財経大学などに所属する研究者らは、ChatGPTと人間の専門家が答える内容のそれぞれの特徴や違いを調査した研究報告を発表した。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.