NVIDIA、日本語データセットを公開　日本文化など反映した合成ペルソナ600万件　商用利用も可能

　米NVIDIAは9月23日（現地時間）、日本語の合成データセット「Nemotron-Personas-Japan」を、Hugging Face上で公開した。日本の文化や人口統計などを反映したペルソナ600万件を含んでおり、データやシステムを国内インフラ内で完結させる「ソブリンAI」の開発での利用を想定する。ライセンスは、商用利用も可能な「CC BY 4.0」。

　Nemotron-Personas-Japanの開発には、同社の企業向け合成データ作成サービス「NeMo Data Designer」を利用した。同データセットは、日本語で記述された600万件のペルソナを含んでおり、総トークン数は約14億。日本の人口統計や地理的分布、文化的特性などを反映するよう設計しており、各ペルソナには約95万の固有名や、1500以上の職業カテゴリーなどを割り当てた。

NeMo Data Designerによる合成データ作成の概要（出典：公式ブログ、以下同）

データセットの内容

　なお、同データセットは日本の公的な人口・労働関連の統計データに基づいている一方、全てのペルソナは合成によって作成しているため、個人を特定できる情報は含まれていない。また、個人情報保護法（PIPA）の要件も満たしているという。

　同データセットは、ソブリンAIの開発での利用を想定している。例えば、日本の文化的な背景を踏まえた回答ができるAIアシスタント向けのトレーニングデータの作成や、AIシステムが日本の地方と都市、異なる年齢層、教育水準の人々に対し、どのように機能するか評価するためなどに利用できるという。

印刷する

SNSでシェア

関連記事

• 

  OpenAIのアルトマンCEO、AIを基本的人権にする壮大なビジョンを展開

• 

  全エンジニアに個人用AIスパコン「DGX Spark」配布、不動産テック新興　「数千万円規模の投資に」

• 

  Microsoft、OpenAIに頼らない初の自社製基盤モデルと高効率な音声AIを発表

• 

  スパコン「富岳NEXT」、NVIDIAが開発に参加　同社のGPUと富士通のCPUを連携　“世界最高”のAI性能目指す

• 

  AIは「大きい」より「小さい」方がいい──AIエージェントの開発手法、米NVIDIAが主張　LLMをSLMに移行する技術も掲載

こんなメディアも見られています

ITmedia AI＋に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。

企業ITのトレンドを詳説

ITmedia エンタープライズ

エネルギーの専門メディア

スマートジャパン

建設×テクノロジーの最前線

BUILT

ビジネスと働き方のヒント

ITmedia ビジネスオンライン