GPT-4を上回るオープンなLLM誕生? 中国研究者らが「Xwin-LM」公開
米OpenAIの生成AI「GPT-4」を上回る性能をうたうAI「Xwin-LM」が、AIモデル共有サイト「Hugging Face」に公開されている。言語モデルのベンチマークサイト「AlpacaEval」でGPT-4を追い抜き1位を獲得したとしている。
開発者名は明記されていないが、GitHub上の履歴を参照すると中国科学院や清華大学の博士課程の研究者らが開発したようだ。
Xwin-LMは米Metaが公開したAI「Llama2」をベースにしており、教師ありファインチューニング、報酬モデル、リジェクトサンプリング、強化学習などを使って調整したものという。パラメータ数はLlama2と同じく70億、130億、700億の3つのモデルを用意。中でも最大である700億の「Xwin-LM-70B-V0.1」は、AlpacaEvalの評価基準である「Text-Davinci-003」(GPT-3のモデルの一つ)に対する勝率で95.57%を記録。勝率95.28%のGPT-4を追い抜いたとしている。
ただし、ベンチマークテスト上での勝利が現実的な性能を意味するわけではない点には注意したい。AIは決められた問題に特化し過ぎるとその他の問題への対応力が落ちる「過学習」という現象が知られている。他のベンチマークテストの結果も公開されており、5つ中4つのテストでText-davinci-003を上回ったとしているものの、残り1つでは及んでおらず、これらのテストにGPT-4は含まれないため、本当にGPT-4を上回る性能を体感できるかは未知数だ。
Xwin-LM-70B-V0.1のファイルサイズは275GB。ベースとなっているLlama2 70Bの実行には米Nvidiaのデータセンター向けGPU「A100」が4基必要(工夫すれば1基でも動かせる報告あり)とされているため、モデル自体が公開されていても個人での実行は簡単ではない。実際の性能については他の研究者などの報告を待つ必要がありそうだ。なお、利用ライセンスはLlama2(商用可)を継承していると思われるが詳細は不明。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
「楽天証券」漏えい、あなたは対象? ログインして「重要なお知らせ」確認を
-
2
楽天証券に不正アクセス、最大1125万口座のIDなど漏えいか 「テスト環境」の一部情報が流出のおそれ
-
3
メルカリ、Google Play ストアでアプリが検索・ダウンロードできない状態に
-
4
ネットにつながらない携帯、KDDIが発売へ──誰向けなのか? 「スマホが電話の再発明なら、これは再再発明」
-
5
口座情報漏えいの楽天証券、「ワンタイムキー発行に時間がかかっている」 出金やログインパス変更に必要
-
6
NISA口座「もぬけの殻」に 不正アクセス被害者らが証券4社に原状回復求め調停
-
7
Suica、3つの新キャラ候補を発表 ネット投票で決定へ ペンギンは27年3月末で卒業
-
8
パスワードより安全なはずが……パスキー対応103サイトを検証→全てに脆弱性 独大学の調査結果
-
9
モリサワや「mineo」など会員情報漏えい マーケツール「KARTE」不正アクセス、外部サービス連携用シークレットキーなども
-
10
「JINS」最大約1829万件漏えいの可能性 RIZAPやしまむらも……「KARTE」不正アクセスの影響広がる
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR