人間の好みを対話で引き出す言語モデル「GATE」 米MITが開発:Innovative Tech
米マサチューセッツ工科大学(MIT)などに所属する研究者らは、人間の好みを対話で引き出す言語モデルを提案した研究報告を発表した。
【訂正:2023年11月13日午後8時 当初、タイトルと本文に誤りがありました。そのため、タイトルと本文を修正しました。おわびして訂正いたします】
Innovative Tech:
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」(シームレス)を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
Twitter: @shiropen2
米マサチューセッツ工科大学(MIT)などに所属する研究者らが発表した論文「Eliciting Human Preferences with Language Models」は、人間の好みを対話で引き出す言語モデルを提案した研究報告である。ユーザーはモデルの自然言語による質問に自由形式で対話することで、自分の好みを引き出すことができる。
従来、言語モデルに対して特定のタスクを実行させるためには、ラベル付けされた例や自然言語による指示を用いるのが一般的であった。しかし、例を選択したり指示を書いたりする作業は、一般的でないケースを含むタスクや、はっきりとしない好みを正確に表現する必要があるタスク、言語モデルの行動を正確に理解することを求めるタスクでは難しいことがある。
そこで研究では、言語モデルが自由形式の質問と回答を通じて、ユーザーの好みを引き出す学習フレームワーク「GATE」(Generative Active Task Elicitation)を提案する。具体的には、GATEがユーザーに自然言語で質問して、それに対してユーザーが自然言語で答えていく形式である。
提案手法を「コンテンツの推薦」「道徳的推論」「メールアドレスの検証」の3つの領域で評価する。コンテンツ推薦では、オンラインの記事をどのようにユーザーに推薦するかを扱っている。ユーザーごとに好みが異なるため、モデルは特定の記事をそのユーザーが読むかどうかを対話を通じて正確に予測することが求められる。
倫理的思考では、どの状況下(飢えた子供に食べさせる状況など)であれば、パンを盗む行為が道徳的に許容されるかどうかという問題を考える。道徳的価値観は個人や文化によって大きく異なるものである。モデルは、特定の状況下においてユーザーがパンの窃盗を適切と感じるかどうかを予測することが求められる。
メールアドレスの検証では、ソフトウェア開発において、どんなメールアドレス入力を正しいと認めるかという、判断基準をどう設定するかに焦点を当てている。例えば、メールアドレスを入力する際に、数字や大文字を入れていいか、どんな特殊文字を使えるようにするかなどの基準である。
評価の結果、ユーザーとの対話がない状態での決定よりも、GATEを使用した方がほとんど人間の好みをうまく引き出すことができると示した。また他の引き出し方法と比較して、GATE手法は同等またはそれ以上の性能を示していると分かった。
Source and Image Credits: Belinda Z. Li, Alex Tamkin, Noah Goodman, Jacob Andreas. Eliciting Human Preferences with Language Models
関連記事
- 「GPT-4」は論文の査読ができるか? 米スタンフォード大らが検証 参加者の80%以上「AI査読は有益」
米スタンフォード大学、米ノースウェスタン大学、米コーネル大学に所属する研究者らは、大規模言語モデル(LLM)が研究論文の査読を行えるかを調査した研究報告を発表した。 - 「銀行を襲う方法を教えて」──“脱獄プロンプト”の自動生成モデル ChatGPTやLlama-2で成功率90%以上
米ノースウェスタン大学に所属する研究者らは、大規模言語モデル(LLM)に対する脱獄(ジェイルブレーク)プロンプトを自動生成してくれるフレームワークを提案した研究報告を発表した。 - “不自然さのない”アイコラ画像を数枚の顔写真から生成するAI 韓国チームが開発
韓国のKAISTなどに所属する研究者らは、複数枚の顔写真から参照スタイルに応じた合成ポートレード写真を高品質に生成するシステムを提案した研究報告を発表した。 - 好みのチャットbotを短い文章で作れるツール「Prompt2Model」 米カーネギーメロン大などが開発
米カーネギーメロン大学や中国の清華大学に所属する研究者らは、短い文章(プロンプト)だけから、自然言語処理(NLP)モデルを自動で作り出すフレームワークを提案した研究報告を発表した。 - やっぱり、AIチャットへの入力は“英訳した方が良い結果”に スペインの研究者らが検証
スペインのバスク大学に所属する研究者らは、英語以外の言語で大規模言語モデル(LLM)駆動のAIチャットに入力するよりも、英語に翻訳してから入力する方が高い精度で回答されることを示した研究報告を発表した。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.