Apple、iPhoneでも稼働するオープンな言語モデル「OpenELM」を公開
米Appleの研究者らは4月24日（現地時間）、オープンソースの言語モデル「OpenELM」（ELMはEfficient Language Model、効率的な言語モデルの略）をHugging Faceで公開した。
Hugging FaceのOpenELM（30億パラメータ）のページ
パラメータ数の異なる4つのモデルがある。小さいものから、2億7000万、4億5000万、11億、30億（パラメータとは、意思決定でモデルがトレーニングデータセットから理解する変数の数を示す）。
AppleがAIのモデルを公開することはこれまでほとんどなかったが、OpenELMの「広範なリリースは、オープンな研究コミュニティを支援し、発展させることが目的」という。
Appleは、OpenELMとともに、開発者がモデルをソフトウェアに組み込めるように設計された複数のツールもオープンソース化した。その中にはiPhoneやMac上でモデルを実行できるようにするライブラリも含まれる。
「公開データセットで学習されたモデルは安全性の保証なしでリリースされる」ため、利用する開発者は自分で「十分なセーフティテストを実施し、適切なフィルタリング機構を実装することが不可欠」だとしている。
AppleはOpenELMを、約1兆8000億のトークンで構成されるデータセットでトレーニングしたとしている。データセットとしては、GitHubのRedPajamaデータセット、大量の書籍、Wikipedia、StackExchangeの投稿、ArXiv上の論文、Reddit、Wikibooks、Project GutenbergなどのDolmaセットを使った。
OpenELMは、レイヤーごとのスケーリング戦略を用いて、Transformerモデルの各レイヤー内でパラメータをefficient（効率的）に割り当てることで精度を向上させているという。例えば10億パラメータでは、Allen Institute for AIのOLMoと比較して半分の事前学習トークン数で2.36％の精度向上を示すとしている。
評価結果
米Microsoftも前日、iPhoneで稼働可能なSLM「Phi-3」を公開している。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
「菜の花がおかしい」――イラストレーター制作うたうマラソン大会ポスターに指摘相次ぐ 事務局がAI使用明かす【訂正あり】
-
2
幻の「ちいかわ」コラボ第3弾皿、捨てちゃうの？ くら寿司に聞いてみた
-
3
iPhone 18シリーズ発表、今年はPro・Pro Maxのみ なんと“無印”なし 価格は21万9800円から
-
4
「iPhone Duo」発表 Apple初の折りたたみスマホ 36万4800円から
-
5
「ランジェリーパープルじゃない」「買おうと思ってたのに」 iPhone 18 Pro／Pro Maxの色に落胆の声
-
6
「ペンギンを返して」 Suica新キャラ候補3案公開でSNSに戸惑いの声 一般投票は8日から
-
7
藤井風のリサイタル、公式サイトがインターネット老人会すぎると話題 公民館のチラシみたいだけど東京ドーム開催
-
8
「ペンギンを返して」→「3匹全部採用して」 批判殺到のSuica新キャラ、ファンアートが空気を変えた？ SNSの声
-
9
スーパーでおなじみ「呼び込み君」に新型 26年越しの“新曲”も配信
-
10
「Claude」による不正アクセス、4件目が判明──Anthropic、「アライメントの失敗」と評価を修正
ITmedia NEWS SNS
@itmedia_newsをフォロー
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR