人間の好みを対話で引き出す言語モデル「GATE」 米MITが開発：Innovative Tech

[山下裕毅，ITmedia]

【訂正：2023年11月13日午後8時　当初、タイトルと本文に誤りがありました。そのため、タイトルと本文を修正しました。おわびして訂正いたします】

Innovative Tech：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

Twitter: ＠shiropen2

　米マサチューセッツ工科大学（MIT）などに所属する研究者らが発表した論文「Eliciting Human Preferences with Language Models」は、人間の好みを対話で引き出す言語モデルを提案した研究報告である。ユーザーはモデルの自然言語による質問に自由形式で対話することで、自分の好みを引き出すことができる。

GATEは、ユーザーとの自由形式による対話によって、ユーザーの好みを引き出せる

　従来、言語モデルに対して特定のタスクを実行させるためには、ラベル付けされた例や自然言語による指示を用いるのが一般的であった。しかし、例を選択したり指示を書いたりする作業は、一般的でないケースを含むタスクや、はっきりとしない好みを正確に表現する必要があるタスク、言語モデルの行動を正確に理解することを求めるタスクでは難しいことがある。

　そこで研究では、言語モデルが自由形式の質問と回答を通じて、ユーザーの好みを引き出す学習フレームワーク「GATE」（Generative Active Task Elicitation）を提案する。具体的には、GATEがユーザーに自然言語で質問して、それに対してユーザーが自然言語で答えていく形式である。

　提案手法を「コンテンツの推薦」「道徳的推論」「メールアドレスの検証」の3つの領域で評価する。コンテンツ推薦では、オンラインの記事をどのようにユーザーに推薦するかを扱っている。ユーザーごとに好みが異なるため、モデルは特定の記事をそのユーザーが読むかどうかを対話を通じて正確に予測することが求められる。

　倫理的思考では、どの状況下（飢えた子供に食べさせる状況など）であれば、パンを盗む行為が道徳的に許容されるかどうかという問題を考える。道徳的価値観は個人や文化によって大きく異なるものである。モデルは、特定の状況下においてユーザーがパンの窃盗を適切と感じるかどうかを予測することが求められる。

　メールアドレスの検証では、ソフトウェア開発において、どんなメールアドレス入力を正しいと認めるかという、判断基準をどう設定するかに焦点を当てている。例えば、メールアドレスを入力する際に、数字や大文字を入れていいか、どんな特殊文字を使えるようにするかなどの基準である。

異なる3つの分野での対話内容の一部

　評価の結果、ユーザーとの対話がない状態での決定よりも、GATEを使用した方がほとんど人間の好みをうまく引き出すことができると示した。また他の引き出し方法と比較して、GATE手法は同等またはそれ以上の性能を示していると分かった。

Source and Image Credits: Belinda Z. Li, Alex Tamkin, Noah Goodman, Jacob Andreas. Eliciting Human Preferences with Language Models