Innovative Tech

AIが書いたテキストに“電子透かし”を入れる技術　人に見えない形式で埋め込み　米国チームが開発

　米メリーランド大学に所属する研究者らが発表した論文「A Watermark for Large Language Models」は、大規模言語モデル（LLM）が出力するテキストに対して電子透かし（ウォ―ターマーク）を入れるフレームワークを提案した研究報告である。

　電子透かしは、テキストの品質にほとんど影響を与えず、人間には見えない形式で埋め込める。さらに、言語モデルのAPIやパラメータにアクセスせずにも、効率的なオープンソースのアルゴリズムを使って検出できる。

　Web上の合成データ（AIが生成するテキストや画像など）の急増は、今後のデータセット作成の取り組みを複雑にしている。合成データは人間のコンテンツよりも劣ることが多く、モデル学習の前に検出し、除外しなければならないからである。

　電子透かしとは、テキスト中の隠れたパターンのことで、人間には知覚できないが、アルゴリズム的には合成テキストであることを識別可能にする。この研究では、合成テキストを短いトークン（25トークン程度）から検出可能にする効率的な電子透かしを提案する。

　トークンを、1個前のトークンのハッシュ値を元にして、グリーントークンとレッドトークンに分ける。生成したテキストではグリーントークンの割合が高くなるように設定する。グリーントークンとレッドトークンの割合を分析することで、電子透かしが埋め込まれているかを判定する。

　電子透かしは、言語モデルのAPIにアクセスしなくても、アルゴリズムで検出できる。この特性により、モデルがオープンソースでなくても、検出アルゴリズムをオープンソースにすることができる。また、LLMを実行する必要がないため、安価で高速な検出が可能になる。

Source and Image Credits: Kirchenbauer, J., Geiping, J., Wen, Y., Katz, J., Miers, I., & Goldstein, T.（2023）. A watermark for large language models. arXiv preprint arXiv:2301.10226.

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

この連載の記事をもっと見る

この記事の著者

関連記事

• 

  紙に“隠しARデータ”を埋め込む電子透かし技術　Adobeが開発　家庭用プリンタで印刷可能

• 

  画像の透かしを消せるAIサービスが物議　「悪用以外のニーズがどれぐらいあるのか」など疑問の声

• 

  画像生成AIに“AIが作った画像”を学習させ続けると？　“品質や多様性が悪化”　「モデル自食症」に

• 

  ちゃんと読める？　イラスト化したQRコードを生成するサービス登場　生成AIを利用　1枚300円から

• 

  国産AIはなぜ炎上する？　「mimic」開発元に反省点を聞いた　海外産AIは平常運転、待つのは“日本1人負け”か