AIが書いたテキストに“電子透かし”を入れる技術 人に見えない形式で埋め込み 米国チームが開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

Twitter: ＠shiropen2

　米メリーランド大学に所属する研究者らが発表した論文「A Watermark for Large Language Models」は、大規模言語モデル（LLM）が出力するテキストに対して電子透かし（ウォ―ターマーク）を入れるフレームワークを提案した研究報告である。

　電子透かしは、テキストの品質にほとんど影響を与えず、人間には見えない形式で埋め込める。さらに、言語モデルのAPIやパラメータにアクセスせずにも、効率的なオープンソースのアルゴリズムを使って検出できる。

（上）プロンプト、（中央）電子透かしが入っていない出力結果、（下）電子透かしを入れた出力結果。緑色が多いことから生成AIが書いた可能性が高い

　Web上の合成データ（AIが生成するテキストや画像など）の急増は、今後のデータセット作成の取り組みを複雑にしている。合成データは人間のコンテンツよりも劣ることが多く、モデル学習の前に検出し、除外しなければならないからである。

　電子透かしとは、テキスト中の隠れたパターンのことで、人間には知覚できないが、アルゴリズム的には合成テキストであることを識別可能にする。この研究では、合成テキストを短いトークン（25トークン程度）から検出可能にする効率的な電子透かしを提案する。

電子透かしのイメージ

　トークンを、1個前のトークンのハッシュ値を元にして、グリーントークンとレッドトークンに分ける。生成したテキストではグリーントークンの割合が高くなるように設定する。グリーントークンとレッドトークンの割合を分析することで、電子透かしが埋め込まれているかを判定する。

　電子透かしは、言語モデルのAPIにアクセスしなくても、アルゴリズムで検出できる。この特性により、モデルがオープンソースでなくても、検出アルゴリズムをオープンソースにすることができる。また、LLMを実行する必要がないため、安価で高速な検出が可能になる。

Source and Image Credits: Kirchenbauer, J., Geiping, J., Wen, Y., Katz, J., Miers, I., & Goldstein, T.（2023）. A watermark for large language models. arXiv preprint arXiv:2301.10226.