Innovative Tech(AI+)
LLMの開発効率化に革新? 中国DeepSeekが「DeepSeek-OCR」発表 “テキストを画像化”でデータ圧縮
Innovative Tech(AI+):
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」(シームレス)を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。
X: @shiropen2
中国のDeepSeek-AIに所属する研究者らが発表した論文「DeepSeek-OCR: Contexts Optical Compression」は、本や画像などをスキャンして書いてある文字をデジタルテキストデータに変換するOCR(光学文字認識)を用い、長文を画像に圧縮する技術を発表した研究報告だ。
大規模言語モデル(LLM)が長文を処理する際、文章の長さに応じて計算量が二次関数的に増大するという根本的な課題がある。DeepSeek-OCRは、文書を画像として扱い、視覚トークンへと変換することで大幅なデータ圧縮を実現している。
実験では、600~1300トークンを含む文書100ページ分で検証を実施。圧縮率が10倍以内であれば約97%という高い精度でテキストを復元でき、20倍という極端な圧縮でも約60%の精度を維持できることを実証した。これは「一枚の画像は千の言葉に値する」という概念を、技術的に具現化したものといえる。
システムは、「DeepEncoder」と「DeepSeek-3B-MoE decoder」という2つの主要コンポーネントで構成。DeepEncoderは約3億8000万のパラメータを持ち、文書画像を効率的に圧縮する。DeepSeek-3B-MoE decoderは5億7000万の活性化パラメータを持ち、圧縮データから元の文章を復元する。
さらに、単純な文字認識だけでなく、文書内のグラフや図表、化学式、幾何学図形なども理解し、構造化されたデータとして出力できる。約100の言語に対応しており、アラビア語や少数言語の文書も処理可能だ。
実用性を高めるため、DeepEncoderは複数の解像度モードをサポートしている。最小のTinyモード(512×512、64トークン)から、最大のGundam-masterモード(1024×1024ローカルビュー、1280×1280グローバルビュー)まで、文書の種類や必要な精度に応じて選択可能だ。
ベンチマーク評価では優れた実用性を示している。PDF文書の解析に関する評価指標「OmniDocBench」において、わずか100視覚トークンで、OCRモデル「GOT-OCR2.0」(256トークン使用)を上回り、800トークン未満ではOCRモデル「MinerU2.0」(約6000トークン使用)を超えた。
生産環境では、1台のA100-40G GPUで1日当たり20万ページ以上の規模でLLM/VLM用の訓練データを生成できる処理能力を持つ。
なぜこの技術が重要なのか。現在のLLMは、長い文章を扱うときに計算コストが急激に増大するという問題を抱えている。DeepSeek-OCRのアプローチは、この問題に対する新しい解決策を提示している。文字を文字として扱うのではなく、画像として扱うことで、処理効率を向上させることができる。
Source and Image Credits: Haoran Wei, Yaofeng Sun, Yukun Li. DeepSeek-OCR: Contexts Optical Compression
Copyright © ITmedia, Inc. All Rights Reserved.
Innovative Tech(AI+)
2019年の開始以来、多様な最新論文を取り上げている連載「Innovative Tech」。ここではその“AI編”として、人工知能に特化し、世界中の興味深い論文を独自視点で厳選、解説する。執筆は研究論文メディア「Seamless」(シームレス)を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。
この記事の著者
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
「ほんだし」のラベルがAIでぐちゃぐちゃに…… 味の素、公式Xの投稿画像について謝罪
-
2
なぜ「純国産AIは無理」なのか? さくらとSakana AIが示す「ソブリンAI」の現実解
-
3
現役組み込みエンジニアがAIを業務利用して分かったこと――期待と限界と現実解
-
4
人型ロボが“人間超え”――助走なしで高さ2mのジャンプ、時速45kmで走行も 中国Unitreeが開発中の新モデルを公開
-
5
「データがない」「スキルがない」「発想が広がらない」 味の素冷凍食品は“3つのない”をどう解消した?
-
6
なぜ「相場の半額」にできた? 「ヒューマノイド界のトヨタ」目指すZEALSの“したたか”な戦略
-
7
「MicrosoftよりGoogle」で6億円削減も? 舞鶴市、千代田区が明かすIT刷新とAI活用の成功法則
-
8
Claude、Codex、Qwen……そのAI用語、どう読む? 読み方クイズ30問
-
9
「AI進化の裏でモノづくりは30年止まっている」、直列工程を並列化する産業OS
-
10
業務効率に「不満」6割 なのに最も効くのは「生成AI」でも「ツール」でもなかった
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR