「生成AIに振り回された3カ月間の成功と失敗」──コンサルティング事業などを手掛けるリンクアンドモチベーションは6月29日、エンジニア向けの転職サービス「Findy」を運営するファインディ(東京都品川区)が開催したイベント「開発生産性Conference 2024」で、こんな講演を行った。登壇したのはソフトウェアエンジニアである山西陽平さん。開発生産性を上げるため、生成AIでコードを編集するために試行錯誤した3カ月間の体験談を話した。
山西さんが作ったのは「GitHubのIssueを基に、AIがPull Request(PR)を作成してくれるツール」だ。米OpenAIの大規模言語モデル「GPT-4」を活用し作成したツールで、これで型注釈を付けるタスクの自動化を試みた。
当初から「全ては無理でも8割ぐらいは成功するのでは」と考えていた山西さんだが、いざ試してみるとうまくいかず、待っていたのは失敗の日々だった。これらの日々を経て、山西さんは「生成AIはもっと人間らしく扱うと、活路を開けるのではないか」と感想を話す。
山西さんが最初に試したのは、ファイルの中身全てをやり取りする方式だ。編集したいファイルを一つ選びそれをAIに渡し、返ってきた全てをファイルに書き戻すというシンプルなやり方。しかし、このやり方ではAIが勝手にコメントを削除してしまう場合があり、うまく効率化ができなかった。
原因を分析していくと、ファイルの内容が長いほどこの現象が起こりやすいと判明。「より短い出力なら起こりにくいのでは」と仮説を立てた山西さんは、今度は差分の情報のみを返してもらうように変更した。しかし、この方法でも失敗してしまったという。
Copyright © ITmedia, Inc. All Rights Reserved.