Microsoft、商用利用可のSLM「Phi-3」リリース　スマホで動くモデルも

公開 2024年04月24日 08時12分

[ITmedia]

印刷する

　米Microsoftは4月23日（現地時間）、小規模言語モデル（SLM）の「Phi-3」を発表した。3サイズ（mini、small、medium）あり、最小モデルのminiは同日からAzure AI Studio、Hugging Face、Ollamaで利用可能になった。

　miniのトレーニングデータは38億パラメータ。smallは70億、mediamは140億と、大規模言語モデル（LLM）より少ないが、高品質なデータでトレーニングしているため、「主要なベンチマークにおいて、同じサイズまたはより大きなサイズの言語モデルよりも大幅に優れたパフォーマンスを示す」という。

　例えばPhi-3-smallは、米OpenAIのGPT-3.5 Turbo（パラメータ数は公表されていないが、約175億とみられている）などの「はるかに大きなモデルよりも優れたパフォーマンスを発揮する」としている。

ベンチマーク結果（画像：Microsoft）

　Microsoftは昨年12月に「Phi-2」をリリースした。これはベンチマークで、米MetaのLlama 2の700億パラメータモデルを幾つかの分野で上回っていた。Phi-2は200万回以上ダウンロードされた。

　商用利用が可能なPhi-3-miniは、10倍のLLMに匹敵する機能を備える上、サイズが小さいため、LLMよりも実行コストも低くなる。Microsoftは関連論文で、パラメータを4ビットに圧縮したPhi-3-miniがiPhoneのA16 Bionicチップ上で1秒あたり12トークン以上を生成できたと紹介した。