curl開発者が指摘するLLMの“たちの悪い”使い方：セキュリティニュースアラート

curlの開発者であるダニエル・ステンバーグ氏は現状、LLMの利用が脆弱性の発見に役立っていないどころかむしろ悪影響を及ぼしていると懸念を示した。

[後藤大地，有限会社オングス]

　データ転送ライブラリ「curl」の開発者であるダニエル・ステンバーグ氏は2024年1月2日（現地時間）、自身のブログで大規模言語モデル（LLM）がcurlプロジェクトにもたらす利点と弊害について記した。

ステンバーグ氏はLLMがcurlプロジェクトにもたらす利点と弊害について語った（出典：ダニエル・ステンバーグ氏のWebサイト）

curl開発者が指摘するLLMの「効果」と「落とし穴」

　ステンバーグ氏は、LLMの有用性を認識し、今後は脆弱（ぜいじゃく）性の発見においても重要な役割を果たす可能性を指摘しつつも、現状はそうした有用な面ではなく悪い面が出てプロジェクトの足を引っ張っていると話している。

　ソフトウェア開発プロジェクトはしばしばバグバウンティプログラムを実施して第三者からの脆弱性発見を促す。セキュリティ研究者などはバグバウンティプログラムを通じてソフトウェアのバグを報告して報酬金を得る。プロジェクトは新しい視点からバグを発見でき、研究者は報奨金を得られるというエコシステムが存在している。

　一般的にバグバウンティプログラムは効果的な方法だと認識されているが、ステンバーグ氏はこれには苦労も存在すると説明する。同氏によると、バグバウンティプログラムを通じて報告されるレポートはその報告内容を丁寧に検証して確認しなければならず、質の低いレポートが多くなると得られる効果よりも逆に開発時間やメンテナンス時間が減るという負の影響が強く出てくる。

　そしてLLMの登場がこの状況を悪化させている。最近はLLMを使って発見した「バグと思われるもの」を報告するケースが出てきており、これが時間を浪費する原因になっているようだ。

　LLMはソースコードを読み込ませてそこから脆弱性を見つけるといった使い方も可能だ。しかしステンバーグ氏は「現時点でその精度はまだ優れたものとは言えず、一方で報告されるレポートがより自然でそれらしい説得力を持っていることが非常に問題だ」と指摘している。

　「レポートやソースコードを読み、問題を理解しようとしてもまるで問題を理解できず、結局バグレポート自体が誤っていることがある。提出されるレポートが自然で説得力があるだけにたちが悪い」（ステンバーグ氏）

　LLMを使って手軽にバグレポートを生成してバグバウンティプログラムに応募して報奨金を得ようとするユーザーが多く発生していることが問題の根本にある。しかし、報告されるレポートが生成AI（人工知能）によって作られたかどうかを判断することは難しい。また近い将来、LLM利用の有無が判断できるようになったとしても、翻訳などの適切なタスクに使われたものまで却下してしまっては元も子もない。

　ステンバーグ氏は「いずれ、より質の高い判断ができるようになることで問題は解消へ向かう可能性も示唆されているが、今後しばらくはこうしたLLMで生成された役に立たないレポートが増えるのではないか」と懸念を示した。