2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説する。執筆は研究論文メディア「Seamless」(シームレス)を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。X:@shiropen2
スペインのバスク大学や英カーディフ大学などに所属する研究者らが発表した論文「Why are all LLMs Obsessed with Japanese Culture? On the Hidden Cultural and Regional Biases of LLMs」は、一部のAIモデルが文化的な話題において日本文化に強い執着を見せることが明らかにした研究報告だ。
近年、大規模言語モデル(LLM)は驚異的な進化を遂げ、多言語で多様なタスクをこなすようになったが、その内面に潜む文化的な偏りについては一部で議論の的となっている。
研究チームは、LLMが持つ地域的な偏りを検証するため、「Culture-Related Open Questions」(CROQ)と呼ばれる独自のデータセットを構築した。これは「どのような伝統舞踊が存在するか?」「日常の食事として何が食べられているか?」といった、具体的な国や場所を指定しない質問を24の異なる言語でまとめたもの(1320問×24言語で計3万1680問)である。
研究チームは、モデルに自ら場所を選ばせて回答させることで、AIの内部にある無意識の文化的嗜好をあぶり出そうと試みた。実験には、以下の8つのモデルが使用された。
分析の結果、質問された言語が公用語となっている国を回答の舞台に選ぶ傾向が強かった。日本語で質問すれば日本の文化について答え、中国語であれば中国について答えるといった具合だ。特に、インターネット上にある学習データが少ないマイナーな言語ほど、その言語圏の国に固執し、回答の多様性が著しく低下することが分かった。
興味深い発見は、それら入力言語に直接紐づく国を分析対象から除外したときに現れた。この場合、言語やモデルの種類を問わず、AIは一貫して日本と米国を圧倒的な頻度で引き合いに出した。とりわけ日本への偏りは顕著で、評価された8つのモデルのうち6つにおいて、最も参照される国となった。
なぜAIはこれほどまでに日本や特定の国の文化に偏ってしまうのか。研究チームは、このバイアスがAIのトレーニングプロセスのどの段階で生じているのかを特定するため、オープンなモデルによる追加実験を行った。
その結果、事前学習の段階にあるベースモデルでは世界中の国々を比較的バランスよく参照し、多様な文化を提示していた。しかし、人間にとって安全で役立つ回答ができるように微調整を施す教師ありファインチューニングの事後学習プロセスを経た途端に、回答の分布が狭まり、日本や米国への強い偏重が生じていた。
一般的に、ファインチューニングなどの事後学習はモデルの有用性を高めるといわれる。一方で文化的な文脈においては、皮肉にも世界の多様な文化を切り捨て、特定の文化を扱う画一化を引き起こしている可能性が示唆された。ただし、追加実験に使ったのは「Llama-3.1 8B」「Gemma2 9B」「Qwen2.5-7B」やその派生モデルなどで、最初の実験と同じではない。
リアルな人間っぽい合成音声を生成するAI 「えー」「あぁ」「うん」なども再現 YouTubeやPodcastで学習
豚の体内で“人間の臓器”の成長に成功 中国の研究者らが発表 移植用臓器不足の軽減を目指す
テキストだけで、AIが3Dモデルを自動生成 米Googleなどの研究チームが開発
米Microsoft、“ChatGPTの目と耳実装”の影で画像対応の生成AI「DeepSpeed-VisualChat」開発
Microsoft、商用利用可のSLM「Phi-3」リリース スマホで動くモデルもCopyright © ITmedia, Inc. All Rights Reserved.
Special
PR