AIが書いたテキストに“電子透かし”を入れる技術 人に見えない形式で埋め込み 米国チームが開発:Innovative Tech
米メリーランド大学に所属する研究者らは、大規模言語モデル(LLM)が出力するテキストに対して電子透かし(ウォーターマーク)を入れるフレームワークを提案した研究報告である。
Innovative Tech:
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」(シームレス)を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
Twitter: @shiropen2
米メリーランド大学に所属する研究者らが発表した論文「A Watermark for Large Language Models」は、大規模言語モデル(LLM)が出力するテキストに対して電子透かし(ウォ―ターマーク)を入れるフレームワークを提案した研究報告である。
電子透かしは、テキストの品質にほとんど影響を与えず、人間には見えない形式で埋め込める。さらに、言語モデルのAPIやパラメータにアクセスせずにも、効率的なオープンソースのアルゴリズムを使って検出できる。
Web上の合成データ(AIが生成するテキストや画像など)の急増は、今後のデータセット作成の取り組みを複雑にしている。合成データは人間のコンテンツよりも劣ることが多く、モデル学習の前に検出し、除外しなければならないからである。
電子透かしとは、テキスト中の隠れたパターンのことで、人間には知覚できないが、アルゴリズム的には合成テキストであることを識別可能にする。この研究では、合成テキストを短いトークン(25トークン程度)から検出可能にする効率的な電子透かしを提案する。
トークンを、1個前のトークンのハッシュ値を元にして、グリーントークンとレッドトークンに分ける。生成したテキストではグリーントークンの割合が高くなるように設定する。グリーントークンとレッドトークンの割合を分析することで、電子透かしが埋め込まれているかを判定する。
電子透かしは、言語モデルのAPIにアクセスしなくても、アルゴリズムで検出できる。この特性により、モデルがオープンソースでなくても、検出アルゴリズムをオープンソースにすることができる。また、LLMを実行する必要がないため、安価で高速な検出が可能になる。
Source and Image Credits: Kirchenbauer, J., Geiping, J., Wen, Y., Katz, J., Miers, I., & Goldstein, T.(2023). A watermark for large language models. arXiv preprint arXiv:2301.10226.
関連記事
- 紙に“隠しARデータ”を埋め込む電子透かし技術 Adobeが開発 家庭用プリンタで印刷可能
米Adobe Researchに所属する研究者らは、一般家庭でよく使われているインクジェットプリンタで紙に隠しARデータを埋め込める電子透かし技術を開発した。 - 画像の透かしを消せるAIサービスが物議 「悪用以外のニーズがどれぐらいあるのか」など疑問の声
インドの企業が画像のウォーターマーク(透かし文字)を削除するAIサービスを発表し、ネット上で物議を醸している。開発元の企業は「商業利用する場合は、事前に画像の所有者に同意を求めてほしい」と説明しているが、世界中のユーザーから疑問を呈する声が上がっている。 - 画像生成AIに“AIが作った画像”を学習させ続けると? “品質や多様性が悪化” 「モデル自食症」に
米ライス大学と米スタンフォード大学に所属する研究者らは、AI生成画像(合成データ)を用いて別の生成モデルが学習し続けると、その精度にどのような影響がでるのかを検証した研究報告を発表した。 - ちゃんと読める? イラスト化したQRコードを生成するサービス登場 生成AIを利用 1枚300円から
広告会社のリメインインは、AIを使ったQRコード生成サービス「DRコード」を始めると発表した。生成AIで出力したイラストや写真と、WebサイトやSNSなどのURLを組み合わせてオリジナルのQRコードを生成できるという。 - 国産AIはなぜ炎上する? 「mimic」開発元に反省点を聞いた 海外産AIは平常運転、待つのは“日本1人負け”か
2022年、画像生成AIが大きな注目を集めた。「Midjourney」など海外産AIの多くは受け入れられた一方、「mimic」や「クリスタ」では炎上し、停止に追い込まれる事態が続いた。なぜこのような事態になってしまったのか? 画像生成AIと2022年を振り返る。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.