ITmedia AI＋
生成AI
「Transformer」後継と期待される「RetNet」活用　PKSHAが日英対応の独自LLMを開発　日本MSも協力

「Transformer」後継と期待される「RetNet」活用　PKSHAが日英対応の独自LLMを開発　日本MSも協力

公開 2024年03月28日 20時29分

更新 2024年03月28日 08時27分

[ITmedia]

印刷する

　AIベンチャー・PKSHA Technology（東京都文京区）は3月28日、「RetNet」技術を活用した日英大規模言語モデル（LLM）を開発したと発表した。RetNetを使用した日英モデルは世界初で、日本マイクロソフトの技術支援により実現。PKSHA Technologyの上野山勝也代表は「これによって生成AIの活用が一段前に進む」と自信を見せる。

左から、PKSHA Communication、PKSHA Workplaceの佐藤哲也代表、PKSHA Technologyの上野山勝也代表、日本マイクロソフト執行役員常務最高技術責任者の野嵜弘倫さん、PKSHA Technology アルゴリズムエンジニア VPoEの森下賢志さん、PKSHA Technology アルゴリズムリードの稲原宗能さん

　今回開発したLLMの最大の特徴であるRetNetとは「Retentive Network」の略称で、米Microsoft Researchが開発した技術だ。現在、LLMのアーキテクチャには「Transformer」が使われているのが主流だが、Microsoftは「RetNetはこの後継として期待される」と説明している。

　RetNetは、Transformerと比べてより効率的にデータを処理できる。Transformerと比較したとき、GPUのメモリ消費が約3分の1、レイテンシは約15分の1に抑えられ、スループットは最大8倍速いという。このためRetNetを採用したLLMでは、必要なメモリを少なくしながら、長文入力時の応答速度の向上が見込めるとしている。

GPUのメモリ消費が約3分の1、レイテンシは約15分の1に抑えられ、スループットは最大8倍速いという

　TransformerのLLMでは、入力文字数が増えていくことで文章の出力にかかる時間も比例して増えていく。一方、PKSHA Technologyが今回開発したLLMでは、文字数が増えても出力かかる時間はほぼ一定に。2万文字を入力したときの出力速度を比較すると、速度は約3.3倍上がり、応答時間にすると約70％削減できたとしている。

Transformerとの性能比較

　開発したLLMは70億パラメータで、コンタクトセンターや社内ヘルプデスクなどでの実装を視野に入れている。4月から段階的に実用化を開始する予定で、現在さらなる学習と言語性能のチューニングを進めているという。

コンタクトセンターや社内ヘルプデスクでの利用を想定

　同社のアルゴリズムエンジニア VPoEである森下賢志さんは「コンタクトセンターや社内ヘルプデスクにおけるLLM活用に当たって、これまでは3つの課題があった。1つは顧客の情報などをより多く入れたいという『長文入力』、2つ目に音声対話中でのリアルタイムでの対応を可能にする『応答速度』、3つ目により安く運用したいという『運用コスト』。この3つの課題を同時に解決できるポテンシャルを持っているのがRetNetで、期待が集まっている」と話す。

PKSHA Technology アルゴリズムエンジニア VPoEの森下賢志さん

　一方、RetNet自身にも課題はある。まだ実用的なレベルで社会では利用できていないため、Transformerほど学習方法が確立されていないという。より効率的な学習方法の探求や、RetNet自体の実用化に向けて、今後もPKSHA Technologyと日本マイクロソフトは協力し、研究開発を進めていく予定だ。

　上野山代表は今回開発したRetNetLLMの精度について「どの物差しで測っていくかの問題だと思っている。われわれはビジネスニーズに必要十分に応えていく、というところで作っており、そういう意味で精度の向上に努めていきたい」と話し、他社製LLMとのベンチマークでの比較結果については明かさなかった。