「Transformer」後継と期待される「RetNet」活用 PKSHAが日英対応の独自LLMを開発 日本MSも協力
AIベンチャー・PKSHA Technology(東京都文京区)は3月28日、「RetNet」技術を活用した日英大規模言語モデル(LLM)を開発したと発表した。RetNetを使用した日英モデルは世界初で、日本マイクロソフトの技術支援により実現。PKSHA Technologyの上野山勝也代表は「これによって生成AIの活用が一段前に進む」と自信を見せる。
今回開発したLLMの最大の特徴であるRetNetとは「Retentive Network」の略称で、米Microsoft Researchが開発した技術だ。現在、LLMのアーキテクチャには「Transformer」が使われているのが主流だが、Microsoftは「RetNetはこの後継として期待される」と説明している。
RetNetは、Transformerと比べてより効率的にデータを処理できる。Transformerと比較したとき、GPUのメモリ消費が約3分の1、レイテンシは約15分の1に抑えられ、スループットは最大8倍速いという。このためRetNetを採用したLLMでは、必要なメモリを少なくしながら、長文入力時の応答速度の向上が見込めるとしている。
TransformerのLLMでは、入力文字数が増えていくことで文章の出力にかかる時間も比例して増えていく。一方、PKSHA Technologyが今回開発したLLMでは、文字数が増えても出力かかる時間はほぼ一定に。2万文字を入力したときの出力速度を比較すると、速度は約3.3倍上がり、応答時間にすると約70%削減できたとしている。
開発したLLMは70億パラメータで、コンタクトセンターや社内ヘルプデスクなどでの実装を視野に入れている。4月から段階的に実用化を開始する予定で、現在さらなる学習と言語性能のチューニングを進めているという。
同社のアルゴリズムエンジニア VPoEである森下賢志さんは「コンタクトセンターや社内ヘルプデスクにおけるLLM活用に当たって、これまでは3つの課題があった。1つは顧客の情報などをより多く入れたいという『長文入力』、2つ目に音声対話中でのリアルタイムでの対応を可能にする『応答速度』、3つ目により安く運用したいという『運用コスト』。この3つの課題を同時に解決できるポテンシャルを持っているのがRetNetで、期待が集まっている」と話す。
一方、RetNet自身にも課題はある。まだ実用的なレベルで社会では利用できていないため、Transformerほど学習方法が確立されていないという。より効率的な学習方法の探求や、RetNet自体の実用化に向けて、今後もPKSHA Technologyと日本マイクロソフトは協力し、研究開発を進めていく予定だ。
上野山代表は今回開発したRetNetLLMの精度について「どの物差しで測っていくかの問題だと思っている。われわれはビジネスニーズに必要十分に応えていく、というところで作っており、そういう意味で精度の向上に努めていきたい」と話し、他社製LLMとのベンチマークでの比較結果については明かさなかった。
「これ(RetNetLLM)によって生成AIの活用が一段前に進むと思っている。ビジネスにはさまざまな制約、上限がつきものだが、(LLMのビジネス活用において)“必要十分でかつ高性能”が欲しい場面でRetNetLLMは一役買うと考えている」(上野山代表)
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
総務省が新しい無料オンライン講座「統計解析プログラミング」を1月に開講 Pythonでのデータ分析が4週間で学べる
-
2
OpenAI、AIエージェントが代わりに支払う「ChatGPT Wallet」 カード番号は渡さず、購入ごとに生体認証
-
3
AIモデリングもできる無償3D CAD「SolidCraft」を試してみた!
-
4
JR九州の非IT部門がGeminiでPythonアプリを内製開発 2~3カ月で完成させた方法
-
5
メルカリ、アプリ開発「2日→数十分」へ 直面したAI時代の“意外な課題”とは?
-
6
【追記あり】M365障害、ChatGPT/Claudeのコネクタにも影響 「ほとんどのリクエストで動作しない」
-
7
自信がなければ「分かりません」──足立区が議会答弁AIにかけた“ガード” 「情報間違えれば区民に影響」の思い
-
8
設計/製造から工場運用へ、オートデスクが描く工場全体の最適化戦略
-
9
「AI処理、データ非保持が守られず」――Notionが委託先の問題指摘、漏えいの恐れ巡り
-
10
Google、高速で低価格の「Gemini 4 Hydrogen」発表 無料ユーザーも利用可能
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR