LINE、日本語特化の汎用言語モデル開発へ　100億ページ分のデータを学習

» 2020年11月25日 16時00分公開

[谷井将人，ITmedia]

　LINEは11月25日、日本語に特化した汎用（はんよう）言語モデルを開発すると発表した。新聞記事や小説などのさまざまな言語データを100億ページ分学習させ、対話や文章生成などができるAIを作る。

LINEのWebサイト

　まずは、韓国NAVERと共同で700ペタFLOPSの性能を持つスーパーコンピュータを活用し、学習や処理に必要なインフラを年内に整備する。汎用言語モデルには1750億個以上のパラメータを設定する予定。これは、イーロン・マスク氏が共同会長を務める非営利のAI研究企業、米OpenAIが6月に発表した汎用言語モデル「GPT-3」と同等以上の数字となる。

　汎用言語モデルとは、膨大な言語データを学習して、対話や翻訳に加え、文章生成やプログラミングなど、さまざまな言語処理を行うAIのこと。文章の冒頭が1文入力されただけで文章全体を生成したり、要件定義をするだけでプログラムを構築したりする機能を持つものもある。

　汎用言語モデルの分野ではOpenAIや米Googleなどが先行しており、英語以外に特化したものはごく少数という。LINEは「日本語に特化した超巨大言語モデル開発は世界でも初」としている。

OpenAIの研究

　開発したモデルは、対話AIの開発や検索サービスの品質向上、同社のAI技術「LINE CLOVA」への活用などを見込む。他社との共同開発やAPIの提供についても検討するとしている。

Microsoft、汎用言語モデル「GPT-3」のライセンス取得
イーロン・マスク氏などが率いる非営利AI企業OpenAIの高性能言語モデル「GPT-3」の独占ライセンスをMicrosoftが取得した。Microsoftは自社製品やサービスにGPT-3を採用していく。OpenAIのβ版API経由でのGPT-3へのアクセスは引き続き可能だ。
OpenAI、まことしやかなフェイクニュースも簡単生成の言語モデル「GPT-2」の完全版を公開
OpenAIが、テキストの一部を入力すると自然言語の文章を生成する言語モデル「GPT-2」の完全版を公開した。2月の段階では「悪用される危険がある」として限定版を公開したが、完全版を公開することで高性能な検出モデル開発を促すのが目的。
「飲食店の電話予約を受けるAI」登場　客の話を音声認識、日時と人数をシステム入力
飲食店の予約管理システムを手掛けるエビソルが、顧客からの電話予約にAIが自動対応するサービス「AIレセプション」を10月に始める。業界内で人手不足が深刻化する中、従業員が接客や調理に集中できる効果を見込む。
画像を半分入れたら残りを自動生成　OpenAI、文章自動生成モデルの画像版「Image GPT」開発
半分残っていれば後の半分はAIで推定できる。
「Teslaを含む最先端AI開発組織は規制されるべき」とイーロン・マスク氏
全人類の利益になるデジタル知能の開発を目指して2015年に設立されたOpenAIの変化についてのMIT Technologyの記事を受け、同社を立ち上げたイーロン・マスク氏が、OpenAIはもっと透明性を高くすべきであり、（自身の企業である）Teslaを含むAI開発企業は規制されるべきだとツイートした。