Innovative Tech

人間の好みを対話で引き出す言語モデル「GATE」　米MITが開発

【訂正：2023年11月13日午後8時　当初、タイトルと本文に誤りがありました。そのため、タイトルと本文を修正しました。おわびして訂正いたします】

　米マサチューセッツ工科大学（MIT）などに所属する研究者らが発表した論文「Eliciting Human Preferences with Language Models」は、人間の好みを対話で引き出す言語モデルを提案した研究報告である。ユーザーはモデルの自然言語による質問に自由形式で対話することで、自分の好みを引き出すことができる。

　従来、言語モデルに対して特定のタスクを実行させるためには、ラベル付けされた例や自然言語による指示を用いるのが一般的であった。しかし、例を選択したり指示を書いたりする作業は、一般的でないケースを含むタスクや、はっきりとしない好みを正確に表現する必要があるタスク、言語モデルの行動を正確に理解することを求めるタスクでは難しいことがある。

　そこで研究では、言語モデルが自由形式の質問と回答を通じて、ユーザーの好みを引き出す学習フレームワーク「GATE」（Generative Active Task Elicitation）を提案する。具体的には、GATEがユーザーに自然言語で質問して、それに対してユーザーが自然言語で答えていく形式である。

　提案手法を「コンテンツの推薦」「道徳的推論」「メールアドレスの検証」の3つの領域で評価する。コンテンツ推薦では、オンラインの記事をどのようにユーザーに推薦するかを扱っている。ユーザーごとに好みが異なるため、モデルは特定の記事をそのユーザーが読むかどうかを対話を通じて正確に予測することが求められる。

　倫理的思考では、どの状況下（飢えた子供に食べさせる状況など）であれば、パンを盗む行為が道徳的に許容されるかどうかという問題を考える。道徳的価値観は個人や文化によって大きく異なるものである。モデルは、特定の状況下においてユーザーがパンの窃盗を適切と感じるかどうかを予測することが求められる。

　メールアドレスの検証では、ソフトウェア開発において、どんなメールアドレス入力を正しいと認めるかという、判断基準をどう設定するかに焦点を当てている。例えば、メールアドレスを入力する際に、数字や大文字を入れていいか、どんな特殊文字を使えるようにするかなどの基準である。

　評価の結果、ユーザーとの対話がない状態での決定よりも、GATEを使用した方がほとんど人間の好みをうまく引き出すことができると示した。また他の引き出し方法と比較して、GATE手法は同等またはそれ以上の性能を示していると分かった。

Source and Image Credits: Belinda Z. Li, Alex Tamkin, Noah Goodman, Jacob Andreas. Eliciting Human Preferences with Language Models

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

この連載の記事をもっと見る

この記事の著者

関連記事

• 

  「GPT-4」は論文の査読ができるか？　米スタンフォード大らが検証　参加者の80％以上「AI査読は有益」

• 

  「銀行を襲う方法を教えて」──“脱獄プロンプト”の自動生成モデル　ChatGPTやLlama-2で成功率90％以上

• 

  “不自然さのない”アイコラ画像を数枚の顔写真から生成するAI　韓国チームが開発

• 

  好みのチャットbotを短い文章で作れるツール「Prompt2Model」　米カーネギーメロン大などが開発

• 

  やっぱり、AIチャットへの入力は“英訳した方が良い結果”に　スペインの研究者らが検証