Innovative Tech

GPT-4でコードを生成するなら“日本語”と“英語”どっちがいい？　日立製作所が検証

公開 2023年11月28日 08時02分

更新 2024年04月02日 11時02分

著者

山下裕毅

[ITmedia]

印刷する連載新着通知を受け取る Googleで優先するソースとして追加

Innovative Tech：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

Twitter: ＠shiropen2

　日立製作所に所属する研究者らが発表した論文「入力時の日本語と英語の差異がChatGPTで生成するコードの安全性に与える影響の考察」は、大規模言語モデルが生成するコードの安全性に及ぼす、日本語と英語の入力の違いについて検証した研究報告である。

　この研究では、ChatGPT（GPT-4）に対して日本語と英語の両方でコード生成を指示し、その結果で生成した450個のコードサンプルの安全性を詳細に分析した。具体的には、英語、日本語の命令形と日本語の丁寧語の3種類でそれぞれ同一の内容を示すタスクのコードをGPT-4で生成した。

　いくつかの条件で安全性を比較するため、暗号化と復号、サンドボックス化されたディレクトリの2つのシナリオを用意し、同じシナリオ内でPython、C、JavaScriptの3種類のプログラミング言語で25回コードを生成した。出力されたコードの安全性と、コード以外の部分に自然言語で記述された説明文中の安全性に関する記述を判定した。

研究の全体像

　分析の結果、日本語と英語のプロンプトを用いた場合のコードの安全性にはほとんど差がないことが分かった。しかし、Pythonにおいては日本語のプロンプトの方が英語よりも安全なコードを生成する傾向を示した。これは、英語プロンプトで生成したコードに不安全な機能が追加されたためである。

　さらに、プログラミング言語によってもコードの安全性は大きく異なることを確認した。Pythonの「cryptography.io」を使用したコードは全て安全であったが「pycryptodome」を使用したコードでは安全でない例が存在した。このことから、APIの簡素化や安全性の向上がコードの安全性に大きく寄与することを示唆している。

　これらの分析結果から、日本語を母国語とし英語が不得手なユーザーが、無理に英語でプロンプトを作成する必要はないと考える。しかし、生成コードや説明文の大半が「部分的に安全」または「安全でない」ため、言語に関係なく、生成コードを理解し、安全なコードに修正することが重要である。

Source and Image Credits: 山岸伶, 笹晋也, 藤井翔太. 入力時の日本語と英語の差異がChatGPTで生成するコードの安全性に与える影響の考察. 情報処理学会コンピュータセキュリティシンポジウム2023論文集 1544 - 1551, 2023-10-23

この連載新着通知をメールで受け取る

印刷する

SpecialPR

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

連載新着通知を受け取る

この連載の記事をもっと見る