Innovative Tech

AIが書いたテキストに“電子透かし”を入れる技術　人に見えない形式で埋め込み　米国チームが開発

公開 2023年08月02日 08時02分

更新 2024年04月02日 11時08分

著者

山下裕毅

[ITmedia]

印刷する連載新着通知を受け取る

Innovative Tech：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

Twitter: ＠shiropen2

　米メリーランド大学に所属する研究者らが発表した論文「A Watermark for Large Language Models」は、大規模言語モデル（LLM）が出力するテキストに対して電子透かし（ウォ―ターマーク）を入れるフレームワークを提案した研究報告である。

　電子透かしは、テキストの品質にほとんど影響を与えず、人間には見えない形式で埋め込める。さらに、言語モデルのAPIやパラメータにアクセスせずにも、効率的なオープンソースのアルゴリズムを使って検出できる。

（上）プロンプト、（中央）電子透かしが入っていない出力結果、（下）電子透かしを入れた出力結果。緑色が多いことから生成AIが書いた可能性が高い

　Web上の合成データ（AIが生成するテキストや画像など）の急増は、今後のデータセット作成の取り組みを複雑にしている。合成データは人間のコンテンツよりも劣ることが多く、モデル学習の前に検出し、除外しなければならないからである。

　電子透かしとは、テキスト中の隠れたパターンのことで、人間には知覚できないが、アルゴリズム的には合成テキストであることを識別可能にする。この研究では、合成テキストを短いトークン（25トークン程度）から検出可能にする効率的な電子透かしを提案する。

電子透かしのイメージ

　トークンを、1個前のトークンのハッシュ値を元にして、グリーントークンとレッドトークンに分ける。生成したテキストではグリーントークンの割合が高くなるように設定する。グリーントークンとレッドトークンの割合を分析することで、電子透かしが埋め込まれているかを判定する。

　電子透かしは、言語モデルのAPIにアクセスしなくても、アルゴリズムで検出できる。この特性により、モデルがオープンソースでなくても、検出アルゴリズムをオープンソースにすることができる。また、LLMを実行する必要がないため、安価で高速な検出が可能になる。

Source and Image Credits: Kirchenbauer, J., Geiping, J., Wen, Y., Katz, J., Miers, I., & Goldstein, T.（2023）. A watermark for large language models. arXiv preprint arXiv:2301.10226.

この連載新着通知をメールで受け取る

印刷する

SpecialPR

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

連載新着通知を受け取る

この連載の記事をもっと見る