松尾研、フルスクラッチ開発のLLMを公開　得意なのは“共感”と“思いやり”

公開 2024年08月30日 19時29分

[ITmedia]

印刷する Googleで優先するソースとして追加

　東京大学の松尾・岩澤研究室は8月30日、フルスクラッチで開発した大規模言語モデル（LLM）の「Tanuki-8×8B」を公開した。経済産業省とNEDO（新エネルギー・産業技術総合開発機構）が推進する「GENIAC（Generative AI Accelerator Challenge）」プロジェクトで開発したもの。日本語で作文や対話する能力は、米OpenAIのLLM「GPT-3.5 Turbo」に匹敵する。海外のモデルに比べ、共感や思いやりのある返答ができるという。

フルスクラッチ開発のLLM「Tanuki-8×8B」を公開

　Tanuki-8×8Bの開発では、80億パラメータのモデルを8つに複製し、それぞれが分化・連携して動作するように追加学習した。結果、LLMの日本語作文・対話能力を評価するベンチマーク「Japanese MT-Bench」において、GPT-3.5 Turboと同等のスコアを出した。

「Japanese MT-Bench」の結果（松尾・岩澤研究室公式サイトより引用）

　また実際の使用感に近い評価のため、ユーザーの質問に対する各LLMの回答の優劣を決めるブラインドテストも実施した。この評価では「GPT-4o-mini」や米GoogleのLLM「Gemini-1.5-flash」と同水準の値を示した。

ブラインドテストでの評価のレーティング（松尾・岩澤研究室公式サイトより引用）

　課題としては、総合的な能力で「GPT-4o」や「Gemini-1.5-pro」など海外の最先端モデルに劣っている点が挙げられる。しかしTanuki-8×8Bは海外モデルにはない長所があるという。それが共感や思いやりのある返答だ。

　例えば、「掃除がめんどくさいのですが、どんなモチベーションでやればいいでしょうか」と質問した場合、Gemini-1.5-proでは「掃除がめんどくさいと感じるのはよくあることですが……」と無機質に回答を始める。一方、Tanuki-8×8Bでは「掃除、面倒ですよね…わかります！」と冒頭で共感を示してから回答をしてくれる。