PKSHA製基盤モデルの特徴とは？ 「Transformer」ではなく「RetNet」だから実現できた“3つの強み”

[松浦立樹，ITmedia]

　生成AIブームの今、注目のキーワードが「基盤モデル」だ。大量のデータを事前学習したAIモデルのことで、少しのチューニングを施せば、さまざまなタスクに対応できる。米OpenAIの「GPT-4」といった生成AIも包含する概念だ。

　さまざまな企業が生成AIを使った業務効率化を試行錯誤する中、各AIベンダーたちの間では基盤モデルの開発競争が激化している。そこでこの特集では、基盤モデルを開発するAIベンダーに一問一答メールインタビューを実施。開発状況や独自の強みなどを探っていく。

　今回は、日本マイクロソフトの技術支援の元で、独自の基盤モデルを開発する、AIベンチャー・PKSHA Technology（東京都文京区）に話を聞いた。

PKSHA製基盤モデルの特徴とは？

PKSHA Technologyの基盤モデルの特徴や強みは何か？

　長文入力・高速な応答・低コスト（＝低消費メモリ）の3つを同時に満たせる点が強みです。これらはわれわれが開発した大規模言語モデル（LLM）に採用したモデルアーキテクチャ「RetNet」が持つ、Transformerより優れた特徴をそのまま引き継いでいるためです。特に重要なのは長文入力に強いことです。

TransformerとRetNetの比較

　Transformerでは入力を増やすほど消費メモリは増え、応答速度が大幅に低下します。一方、RetNetは入力を増やしても消費メモリは増加せず、応答速度の低下が軽微です。これにより従来はトレードオフの関係にあった3つを同時に満たすことができるようになりました。

　基盤モデルを社会実装するに当たり、多くのケースでボトルネックになるのが運用コストです。AGIのような汎用性は求めないものの、課題解決に必須な長文入力と高速な応答は妥協せず、かつ運用コストを最小限にする方法を求めてこのモデルを開発しました。

　コールセンターの対話ログを扱うときなど文章量が多いLLM利用シーンにおいては、われわれのモデルを目的に応じてファインチューニングしたものが最も低コストと高い品質・速度を両立するモデルの一つになると思います。

基盤モデルで解決できる業務課題にはどのようなものがあるか？

　LLMにさまざまな役割を期待するのではなく、コミュニケーション領域における特定の役割を任せたいケース、特に長文入力と低コストが重要である場合は今までにない課題解決が実現できると思います。具体的にわれわれがターゲットとして想定しているのは、コンタクトセンターや社内ヘルプデスク領域です。

　音声対話中でも間に合う応答速度を生かし、有益な情報を膨大な対話ログから引き出してオペレーターに伝えるCopilotや、社内の問い合わせに対し、全ドキュメントを一気に参照して総合的に答えるアシスタントといった用途を想定しています。有用だと分かっていても速度やコストがボトルネックとなっていたシーンでのLLM活用を推進したいと考えています。

なぜ基盤モデルの開発を決めたのか？

　PKSHAはAIの社会実装を目指す会社であり、顧客の課題に対してどうAIを活用するか、そのためにどう未来のソフトウェアをデザインするかを考えています。LLMは優劣をはっきりと一軸で比較できるようなものではなく、精度を取るか運用コストの低さを取るかなど重要視する指標によって優劣が異なるので、各ビジネス要件に対して最適なモデルを選択することが重要です。

PKSHAではコンタクトセンターやヘルプデスクの支援に注力

　当社のAIサービス「PKSHA LLMS」を用いた社会実装事業を進める中で、長文入力・応答速度・低コストを全て満たすことにはコールセンターや社内ヘルプデスクを中心にとても需要があり、同時に既存のどのモデルを選択しても実現困難であることも認識しました。そこでResearchチームを中心に、モデルのアーキテクチャ自体を見直してこれを解決しようと考え、RetNetモデルを開発することを検討し始めました。

　とはいえRetNetはTransformerほどサードパーティーライブラリなどが実用レベルで開発されてはおらず、課題は多くありました。開発の最後の決め手は、RetNetの生みの親でもある日本マイクロソフトが開発に協力してくれることになり、それらが解決できる見込みが立ったことで開発を決めました。

他社と比較した際、競合有意性はどこにあるのか？

　モデルの競合優位性は先述の通り長文入力・応答速度・低コストを同時に満たせるというTransformerにない特徴を持つことです。一方でPKSHAとしてはそこはあまり重要視しておらず、そのモデルによってどんな社会課題を解決する未来のソフトウェアを生み出せるかが重要だと考えています。

　当社のモデルを採用することが最適なシーンでは、もちろんそのモデルを使って課題解決をしますが、他社のモデルの方が最適なシーンも多々あり、引き続きそのようなシーンでは他社のモデルを活用することで課題解決をしていきます。どちらでも解決出来ない課題に突き当たったときには、新たな開発を自社で行うといった形で、社会課題の解決能力を高めていければと思います。

どのようなエコシステムを作っていきたいと考えているか

　PKSHA RetNetモデルは、APIとしてモデルそのものを他社に提供するわけではなく、自社のソリューションやAI SaaSに組み込んでソフトウェアとして提供していく形となります。この場合そもそもエコシステムと言う言葉が適切かは分かりませんが、社内でさまざまなAIファーストのプロダクトを作り続けるという意味ではグループ全体でエコシステムを作っている形かと思います。