Innovative Tech（AI+）

Excelなどの“表計算ソフト専用”の大規模言語モデル　米Microsoftが「SpreadsheetLLM」発表

公開 2024年07月17日 12時01分

著者

山下裕毅

[ITmedia]

印刷する連載新着通知を受け取る

Innovative Tech（AI+）：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。

X：＠shiropen2

　米Microsoftに所属する研究者らが発表した論文「SpreadsheetLLM: Encoding Spreadsheets for Large Language Models」は、表計算ソフトを理解するための効率的な大規模言語モデル（LLM）を提案した研究報告である。

SpreadsheetLLMのパイプライン

　MicrosoftのExcelやGoogleのスプレッドシートなど表計算ソフトは広く使用されているが、その二次元の格子構造や複雑なレイアウト、多様なフォーマットオプションなどが、LLMにとって大きな課題となっている。今回提案するフレームワーク「SpreadsheetLLM」は、これらの課題を解決する。

　このフレームワークの中核を成すのが「シートコンプレッサー」という手法である。シートコンプレッサーは3つの主要機能を持つモジュールで構成しており、まずは表計算シート内で重要な構造を持つ部分を特定する機能だ。これにより、重要な構造情報を保持しつつ、データ量を大幅に削減できる。

　次に、データの表現方法を変更だ。従来の行と列による格子状の表現から、値をキーとし、その値が存在するセルの位置をインデックスとする辞書形式に変換する。この方法により、空のセルは除外でき、同じ値を持つ複数のセルをまとめて表現し、重複を減らすことが可能になる。

　最後に、数値データの扱いを効率化する。隣接するセルでは、多くの場合同じようなデータ形式（例：日付、通貨、パーセンテージなど）が使用されている。この手法では、セルの具体的な数値ではなく、そのデータ形式や型を抽出し、同じ形式を持つセル群をまとめて表現。これにより、数値データの分布や傾向を効率的に表現しつつ、個々の数値を記録するよりも大幅にデータ量を削減できる。

シートコンプレッサーの説明

　これら3つの手法を組み合わせることで、シートコンプレッサーは表計算データを平均して25倍にも圧縮することに成功。この圧縮により、LLMが一度に処理できるデータ量が大幅に増加し、より大規模で複雑な表計算ファイルの分析が可能となった。同時に、データ処理にかかる計算コストも96％削減されており、実用面でも大きな進歩をもたらしている。

　表計算検索タスクにおいて、実験の結果、このフレームワークは従来の最高性能モデルを12.3％上回る性能を達成した。特に大規模な表計算シートにおいて、その性能向上が顕著であった。表計算QAタスクにおいても、ベースラインのGPT-4モデルと比較して22％の精度向上を達成した。

Source and Image Credits: Yuzhang Tian, Jianbo Zhao, Haoyu Dong, Junyu Xiong, Shiyu Xia, Mengyu Zhou, Yun Lin, Jose Cambronero, Yeye He, Shi Han, Dongmei Zhang. SpreadsheetLLM: Encoding Spreadsheets for Large Language Models.

この連載新着通知をメールで受け取る

印刷する

Innovative Tech（AI+）

2019年の開始以来、多様な最新論文を取り上げている連載「Innovative Tech」。ここではその“AI編”として、人工知能に特化し、世界中の興味深い論文を独自視点で厳選、解説する。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

連載新着通知を受け取る

この連載の記事をもっと見る