サイバーエージェント、DeepSeek（蒸留モデル）の日本語チューニングモデルを公開 何がうれしい？

サイバーエージェントは2025年1月27日に、「DeepSeek-R1-Distill-Qwen-32B-Japanese」を公開した。このモデルはDeepSeekの「DeepSeek-R1-Distill-Qwen-14B/32B」をベースに日本語に対応した。

[後藤大地，有限会社オングス]

　サイバーエージェントは2025年1月27日、AIモデル「DeepSeek-R1-Distill-Qwen-32B-Japanese」を無料公開した。このモデルは中国のAIスタートアップDeepSeekが開発した「DeepSeek-R1-Distill-Qwen-14B/32B」をベースに、日本語に対応させたもので、MITライセンスが適用されている。

　DeepSeek-R1はDeepSeekが開発した大規模言語モデル（LLM）の一つ。同モデルの前段階にあたるDeepSeek-R1-Zeroはスーパーバイズドファインチューニング（SFT）を行わずに大規模な強化学習（RL）のみを用いて開発されており、自己検証やリフレクション、複雑な問題を解決するための長い推論チェーン（CoT）を生成する能力を発揮している。

　しかし、DeepSeek-R1-Zeroは繰り返しの発生や読みやすさの欠如、言語の混在などの課題を抱えていた。これらの課題を解決するためDeepSeek-R1は新たなデータや条件でモデルを初期化して再学習を行うコールドスタート手法を採用し、推論性能をさらに向上させている。結果としてDeepSeek-R1は数学、コード、推論タスクにおいてOpenAI-o1と同等の性能を実現している。

日本向けチューニングしたDeepSeekは何がうれしいのか

　DeepSeek-R1が注目される理由の一つは競合するOpenAI-o1に匹敵する性能を持つモデルが一般公開されている点にある。この透明性は研究コミュニティーにとって大きな意味を持ち、特にモデルの改善や新たな応用可能性を広げることが期待される。評価においてはDeepSeek-R1のディスティル版（小型化モデル）は、「AIME」や「Codeforces」などのテストで高いパフォーマンスを示しており、OpenAIの「o1-mini」を上回る成績を収めたことが報告されている。特に「DeepSeek-R1-Distill-Qwen-32B」ではCodeforcesでの評価値は1691を記録し、同分野の最先端モデルの一つとして位置付けられている。

　今回公開された「DeepSeek-R1-Distill-Qwen-32B-Japanese」は、DeepSeekが提供する英語版モデルを日本語に最適化したものであり、日本語対応版モデルが公開されたことで日本市場のニーズに即したAIサービスや研究の発展が期待されている。一方で外国発の技術を基にしていることによるセキュリティリスクにも配慮しつつ、透明性を確保した運用が求められる。企業や研究機関は導入に際してデータの取り扱いやバックドアのリスクなどへの慎重な対応が必要とされる。