“そこそこオープン”なAI「Llama 3」がビジネスに与える影響は？ GPT-4を超える性能が手に入る世界に：AIビジネスのプロ 三澤博士がチェック 今週の注目論文

Metaがオープンソース生成AIモデル「Llama 3」を公開し、生成AIビジネスの世界に衝撃を与えている。本記事では「Llama 3」に関連する最新論文をビジネス視点で紹介する。

[三澤瑠花，ITmedia]

この連載について

AIやデータ分析の分野では、毎日のように新しい技術やサービスが登場している。その中にはビジネスに役立つものも、根底からひっくり返すほどのものも存在する。本連載では、ITサービス企業・日本TCSの「AIラボ」で所長を務める三澤瑠花氏が、データ分析や生成AIの分野で注目されている最新論文や企業発表をビジネス視点から紹介する。

　Metaがオープンソース生成AIモデル「Llama 3」を公開し、生成AIビジネスの世界に衝撃を与えています。同AIモデルは研究促進の目的で公開されており、OpenAIの「GPT-4」をしのぐ性能を持つモデルを、制限付きながら商用利用できるのが特徴です。

　Llama 3のリリース後には世界中の開発者がこぞってLlama 3のファインチューニングに取り組み、独自モデルの拡張開発を始めています。日本語特化も含め、さまざまな業界特化型モデルが登場し、活用シーンがさらに広がることが期待されます。

　Llama 3はコンパクトで安価なコンピュータ「Raspberry Pi」でも高速に動作することが確認されており、エッジデバイスでの生成AI活用も現実味を帯びてきています。この傾向はMicrosoftの生成AIモデル「Phi-3」の登場によってさらに加速し、私たちの日常生活のあらゆる場面で、生成AIを活用できる未来が近づいています。

“そこそこオープンなAI”　Llama 3の性能と責任あるAI開発への取り組み

　Llama 3は、最先端の性能と拡張性を持つ大規模言語モデル（LLM）です。Metaによると、Llama 3は15テラトークンのデータを2万4000基のNvidia H100 GPUで学習しており、同規模のモデルの中で最高の性能を達成しているといいます。

　商用利用は月間アクティブユーザー数が7億人以下であれば可能としています。

　特に、プログラミングの分野で大きな改善が見られ、コード生成や推論、命令の理解などの能力が飛躍的に向上しました。また、Llama 3は言語のニュアンスや文脈の理解、翻訳、対話生成などのタスクにも優れた性能を発揮します。

　Metaは責任あるAIの開発に取り組んでおり、Llama 3のリリースに合わせて「責任あるAI利用ガイド」を更新、LLM開発における包括的な情報を提供しています。さらに、Metaはサイバーセキュリティや子供の安全性に関するリスク評価を実施し、安全性を確保するための取り組みも行っています。Llama 3は「オープン」「包括性」「有用性」を軸に開発され、あらゆる人々に寄与することを目指しています。

三澤の“目”

　ビジネスパーソンにとってLlama 3は、生成AIを活用した新たなソリューションやサービスの開発に大きな可能性をもたらします。Llama 3の高い性能と柔軟性を生かすことで、これまで実現が難しかった高度なAI機能を低コストで実装できるようになります。ただし、Llama 3は新興技術であるため、利用には安全性の確保が不可欠です。

　Llamaモデルをベースにさまざまな実験をする動きが活発化しており、今後も実験的な取り組みが多く取り上げられるでしょう。OpenAIのGPTモデル自体は公開されていませんが、大枠はLlama 3と同じ構造であることが知られています。そのため、初回でLlama 3に触れることには、生成AIビジネスの潮流を追う上で大きな意義があると言えます。

参考文献

Will AI Gatekeepers Tell You What You Can Build? - Mark Zuckerberg

Llama 3のモデル詳細

Llama 3 公式サイト

LLMはどこに知識を溜める？　Llama 3の枝刈りによる軽量化の成功

　中国の研究チームが、LLMが持つニューラルネットワークにおけるニューロンを適切に削除（枝刈り）することで、性能を落とさずに計算リソースを大幅に削減できることを示唆しました。アメリカの研究チームは実証実験のためLlama 3を枝刈りして作ったモデルを公開しています。

　枝刈りとは機械学習用語の一つで、モデルに含まれるニューロンを削除することでパラメータ数を小さくする操作のこと。アメリカのチームは後述する研究で示された「LLMの最深部分の冗長性」に着目し、実際にLlama 3のモデルに枝刈りを適用しました。枝刈り後のLlama 3モデルの性能を評価し、元モデルと比較したところ、スコアがほとんど低下しないことを確認しました。LLMは浅い層に多くの知識を保持していることが伺えます。

　軽量化の基になった中国の研究では、冗長性があるモデルの深層部分を、パフォーマンス維持しながら枝刈りできることを統計的に明らかにすました。ニューロンの削除によってメモリ使用量や推論時間を大幅に削減できることも確認しました。

三澤の“目”

　この発見はLLMの効率化とビジネス活用に重要な示唆を与えています。多くの知識を持つ大規模モデルのサイズを削減することで、性能を維持したまま必要な計算リソースや運用コストを抑え、ユーザーへのより迅速なレスポンスを実現できる可能性があります。

　ただし、枝刈りによって解明されていない一部の能力が失われる可能性もあるため、ベンチマークだけでは測れないモデルの本質的な性能への影響については検証が必要です。また、枝刈り後のモデルに対する適切な転移学習などの手法を組み合わせることで、性能低下を最小限に抑えることが重要だと考えられます。

参考文献

Not all Layers of LLMs are Necessary during Inference（LLMの推論に全ての層が必要というわけではない）

Llama 3を軽量化したモデル

Llama 2：LLMモデルの開発と設計

　Llama 3は前のモデルである「Llama 2」に幾つか重要な改良を加えています。執筆時点でLlama 3の論文が発表されていないため、ここではLlama 2のモデル開発について論文を見てみます。

　Llama 2の学習プロセスは、大量のテキストデータを用いた教師なし学習による基盤モデルの構築から始まります。その後、自然言語による指示に従ってさまざまなタスクが解けるように、ファインチューニング手法の一つ「インストラクションチューニング」を実施します。ここに報酬モデリングと人間のフィードバックによる強化学習を組み合わせることで、人間に近い内容を生成できるようにモデルを最適化しました。この一連の学習方法はOpenAIのGPTシリーズの成功のカギを握るキーテクノロジーと同様です。

三澤の“目”

　Llama 2の最大の特長は、インターネットから切断された閉じた環境でも利用できる点です。これにより、セキュリティやプライバシーに配慮が必要な企業でも、安心してAIを導入できます。

　ただし、Llama 2は日本語のデータが全体の0.1%程度と少ないため、日本語での性能向上にはさらなる学習が必要です。そのため日本のチームはLlama2に日本語データを追加した「ELYZA」や「Swallow」といったモデルを開発しています。

参考文献

Llama 2: Open Foundation and Fine-Tuned Chat Models（ Llama 2: オープンな基盤とファインチューニングされたチャットモデル）

本当にオープンなAIを受け入れるために

　Llama 3の登場で、生成AIをビジネスに活用するためのハードルは大きく下がると考えられます。一方で、AIを巡る倫理的、法的、社会的な課題への対処は、引き続き利用者側の責任において進めていく必要があるでしょう。Llama 3を生かしつつ、ビジネス要件に合わせた適切な活用方針を立てることが重要といえるでしょう。

　確実なことは、GPT-4を上回る性能を出すLlama 3がオープンソースとしてリリースされたことで、AIを巡る従来の閉鎖的な状況が打ち破られ、オープンでアクセシブルなAIの在り方が示されてきていることです。

　AIの可能性を広く社会に開放し、多様なプレイヤーによる創意工夫を促すことで、AIの健全な発展と社会実装を加速する効果が期待されます。同時に、オープン化がもたらす負の側面（悪用のリスクなど）への対処も引き続き重要な課題として認識する必要があるでしょう。

著者紹介　三澤瑠花（日本タタ・コンサルタンシー・サービシズ）

AIセンターオブエクセレンス本部　AIラボ ヘッド

日本女子大学卒業、東京学芸大学大学院修士課程修了（天文学）　フランス国立科学研究センター・トゥールーズ第3大学大学院　博士課程修了（宇宙物理学）。

2016年入社。「AIラボ」のトップとして、顧客向けにAIモデルの開発や保守、コンサルティングなどを担当している。