社内外のデータをそのまま生成AI開発に プラットフォーム化を進めるSnowflake

Snowflakeが年次イベントでNVIDIAとの協業を発表した。その他の機能強化と合わせ、データガバナンス強化と生成AI開発のニーズへの対応を進める。

[荒 民雄，ITmedia]

　Snowflakeが年次のユーザーカンファレンス「Snowflake Summit 2023」の開催に合わせ、多数の機能アップデートおよびビジネスアップデートの情報を発表した。

　その中でも今回最も注目を集めたのは、生成AI（人工知能）を使ったアプリケーションの開発、実行環境の提供だ。

　複数のプラットフォームに置かれたデータをまとめた上でAIで分類、分析しつつ、対話型AIでデータを取得したり、生成AIアプリケーションを構築して公開できるようになる。NVIDIAとの業務提携により、大規模言語モデル（LLM）開発用の「NVIDIA NeMo」プラットフォームとNVIDIA GPUをベースにしたアクセラレーテッドコンピューティング環境を利用できるようになる。Snowflakeは、これらの機能強化によりデータのサイロ化を解消でき、セキュリティとガバナンスにも有効だとしている。

Snowflake Summit 2023で提携を発表したSnowflake CEOのFrank Slootman氏（左）とNVIDIA CEOのJensen Huang氏（出典：SnowflakeのTwitterアカウント）

データガバナンス、管理、観測と運用も単一プラットフォームに統合可能に

　Snowflakeが発表した機能アップデートを順に見ていこう。

データクリーンルーム機能、分析者向けの関数群強化、FinOps機能の追加

　まず単一のプラットフォームとして多様なアーキテクチャと接続する機能を強化する。

　データセキュリティとプライバシー保護強化を目的に、データクリーンルーム機能も提供する予定だ。また、データサイエンティストやデータエンジニア以外の分析担当者が容易にデータを扱えるようにする目的でビジネス予測などの分野で機械学習を使った関数群を実装した。

　この他、パフォーマンスの改善に向けてパフォーマンスインデックス（SPI）を実装。任意でリソースのしきい値を設定しておき、しきい値に近づくとアラートが発される「Budgets」も盛り込んだ。コスト最適化に向けた利用率の観測においては「Warehouse Utilization」によって一元的にリソースを観測できるようになる。

フルマネージドのApache Iceberg環境が利用可能に

　この他、データの一元化に向けては、フルマネージドの「Apache Iceberg」テーブルが利用できるようになった。これにより、他のプラットフォームで管理されているApache Icebergのデータについて機能を損なうことなくそのままSnowflakeに取り込めるようになる。

IcebergテーブルもSnowflakeで統合可能に（出典：Snowflake提供資料）

　Snowflakeのプロダクト担当上級副社長　クリスチャン・クレナマン（Christian Kleinerman）氏は「この実装によりSnowflakeとは別のプラットフォームで運用されているデータがサイロ化することを防ぐ」としている。

Docment AIでメタデータ管理をAIで効率化、非構造化データにも自動付与

　非構造データの分析と展開を簡素化する目的で「Docment AI」も実装した。2022年に買収したApplicaの技術を取り込んだものだ。非構造化データにメタデータを付与でき、データの探索においてはLLMを使った自然言語での問いかけが可能になる。

Docment AI（出典：Snowflake提供資料）

データのコピーなしでアプリケーション開発からマネタイズまでを管理

　データのサイロ化解消に向けて、アプリケーション開発環境やデータエンジニアリング環境を強化する。

　Snowflakeが開発者向けに提供する開発環境「Snowpark」では、CLI操作やGit連携が可能になる他、「Python Packegeポリシー」として、利用するライブラリなどのガバナンスが取れるようになる。

「トレードオフのないプログラマビリティ」を提供するとしている（出典：Snowflake提供資料）

　アプリケーション構築環境としては「Snowflake Native App Framework」を発表した。

　Snowflake Native App Frameworkに含まれる「Snowflake Functionalities」を使ってアプリケーションを開発でき、ビルドからデプロイ、運用、マネタイズまでを一貫してSnowflakeの環境内で運用できる。これにより、データが置かれた場所に近いところでデータコピーをせずにアプリケーションを開発できるようになる。

Snowflake Native App Framework（出典：Snowflake提供資料）

　まずはAWS向けのプライベートプレビュー版の提供を開始する予定だ。今後「Microsoft Azure」や「Google Cloud」でも展開する。AWS版プライベートプレビュー版リリース段階ですでに下図のような同社パートナーアプリケーションが用意されている。

　この他、Webアプリケーション開発フレームワーク「Streamlit」を使ってSnowflakeプラットフォームの中でデータとMLモデルを対話的なアプリケーションに変換する機能「Streamlit in Snowflake」を盛り込む。

Streamlit in Snowflake（出典：Snowflake提供資料）

Snowflakeの中でアプリケーションコンテナのデプロイも可能に

　Snowflakeでコンテナイメージの登録およびデプロイが可能になるランタイム「Snowpark Container Services」を追加する。

Snowpark Container Services（出典：Snowflake提供資料）

　「NVIDIAのGPUを使ったデータ分析をSnowflakeのデータの置き場所近くにデプロイして実行する」といった操作を効率よく実行できるとしている。新しいAIモデルやLLMもSnowflakeの中で利用できるようになる。同サービスのパートナーリストは以下の図にある通りだ。

Snowpark Container Servicesのローンチパートナーの一覧（出典：Snowflake提供資料）

　日本市場での展開について説明したSnowflakeのKT氏（マーケティング本部　シニアプロダクトマーケティングマネージャー兼エヴァンジェリスト）は「日本のクラウドリージョンにおいても殆どの機能が時差なく適用される。つまり世界最新機能をタイムリーに使える。国内でもすでに新機能を実験的に実装するパートナーもおり、後追いではなく世界をリードすることも可能な環境を用意する」としている。