　ドイツのダルムシュタット工科大学に所属する研究者らが発表した論文「To ChatGPT, or not to ChatGPT: That is the question!」は、ChatGPTで生成した応答と人間が作った応答を区別することを目的としたさまざまなツールの有効性を評価し、その精度と信頼性を比較した研究報告である。

　この評価には、ChatGPTプロンプトの検出をうたうツールや、ChatGPT生成コンテンツを対象としないその他のAI生成テキスト検出ツールも含まれる。

　ChatGPTをはじめとする大規模言語モデル（LLM）が登場するにつれ、フェイクニュースの発信や盗作、世論操作、不正行為、詐欺など、さまざまな形で悪用される懸念が高まっている。よって、AIが生成したものと人間が生成したものを区別することがますます重要になってきている。

　研究者たちは、基本的な二値分類器からより複雑な深層学習モデルまで、さまざまな検出手法を提案してきた。統計的特徴や構文パターンに依存する検出手法もあれば、意味や文脈の情報を取り入れて精度を向上させる手法もある。

　この研究では、これらの全ツール（一般的なAIテキスト検出器とChatGPTで生成したテキストを対象とした検出器）を、異なるドメインにまたがるChatGPTプロンプトと人間の応答からなるベンチマークデータセットに対してテストし、正しく評価する。

　作成したベンチマークデータセットは、人間が生成した5万8546の応答とChatGPTモデルが生成した7万2966の応答から構成。13万1512のサンプルを生成し、医学や金融などさまざまな分野から2万4322種類の質問に対応する。

　さらに、このデータセットには、人気のあるソーシャルネットワーキングプラットフォームからの回答が含まれており、ユーザーが作成した幅広い視点が提供されている。

分析したAI生成テキストを検出できる手法が書かれた論文と評価結果

　24本の論文で提案されている検出モデルをベンチマークデータセットでテストした結果、全てのモデルで50％以下の成功率しか達成できないことが判明した。最大でも47.3％の成功率しか達成できず、20％台が多く、一桁台もいくつかあった。分析した検出器のほとんどが、どんなテキストでも人間が書いたと分類してしまう傾向があり、一般的にTNRが90％と高く、TPRは低いことが分かった。

Source and Image Credits: Alessandro Pegoraro, Kavita Kumari, Hossein Fereidooni, and Ahmad-Reza Sadeghi. To ChatGPT, or not to ChatGPT: That is the question!

米Bloomberg、金融特化の大規模言語モデル「BloombergGPT」発表　「Appleの時価総額を教えて」などに回答
米Bloombergと米ジョンズ・ホプキンズ大学に所属する研究者らは、幅広い金融データで学習させた500億パラメータの大規模言語モデル（LLM）を提案した研究発表を発表した。
ChatGPTはクラウドワーカーより優秀か　データのラベル付け作業で検証　結果は？
スイスのチューリッヒ大学に所属する研究者らは、機械学習向け大規模データセットを作成するためのラベル付け作業（アノテーション）において、ChatGPTと人ではどちらがパフォーマンスが良いかを検証した研究報告を発表した。
「AI多すぎ、何使えばいいか分からない……」を解決するAI「HuggingGPT」　文章入力だけで、適切な機械学習モデルを自動選択
中国の浙江大学とMicrosoft Research Asiaに所属する研究者らは、大規模言語モデルと多数の機械学習モデルを連携し、ユーザーがテキストを入力するだけで、その内容を解決するための適切な機械学習を選んでくれるシステムを提案した研究報告を発表した。
「AIに毒を盛る」──学習用データを改ざんし、AIモデルをサイバー攻撃　Googleなどが脆弱性を発表
Google、ETH Zurich、NVIDIA、Robust Intelligenceに所属する研究者らは、学習用データセットの一部を改ざんし、それらを学習した機械学習モデルを攻撃する手法を提案した研究報告を発表した。
ChatGPTに詐欺メールの相手をさせたら？　最大18回のやりとりを記録　詐欺師の時間の浪費に成功
イタリアのNational Research Council of Italyに所属する研究者らは、詐欺師が送る詐欺メールとのやりとりをChatGPTにしてもらったらどうなるかを検証した研究報告を発表した。