筆者らNTTデータは2019年ごろからSnowflakeに注目してきました。その理由は「未来を感じさせる」サービスであり、既存のアーキテクチャを大きく変える可能性があると感じたからです。実際には従来も同じような理想を掲げたソリューションもありましたが、実際にはなかなかわれわれの期待に応えるようなサービスが見つかっていませんでした。
Snowflakeは、クラウドサービスを徹底的に利用するということを基本コンセプトとしていて、クラウドサービスの本来持つべき高い柔軟性や拡張性、俊敏性を備えつつ、安定性や高可用性、堅ろう性を持ち、大量のデータを扱うときのシステム運用負荷の徹底的な削減というテーマにも真摯に立ち向かっているソリューションでした。そして、コストに関しても従量課金ということで、非常に小さく始めやすく、簡単に拡張できる点は従来にはあまりないメリットでした。
また、従来のDWHは、大量データの集計処理を得意とし、非常に高速な処理が期待できるものの、少数のユーザーによる意思決定のための分析を想定したものでした。「データの民主化」に象徴されるような多くのユーザーからの同時多数アクセスを想定していなかったり、データ容量に対するコストが比較的高く、大量データを保持するとコスト高が問題になったりしがちでした。
Snowflakeは、アーキテクチャ設計段階からコンピュートとストレージの分離を目指して開発されました。結果として、データ処理量の増加(アクセスの多重増加と処理対象データの大量化)や保持データ量の増加に対して、非常に高い拡張性を維持することに成功しています。
Copyright © ITmedia, Inc. All Rights Reserved.