オープンデータレイクハウスとは Clouderaが企業向けプライベート生成AIの実装を見据えた新発表

Clouderaはがセキュリティと信頼性に優れた責任あるAIを大規模に利用して、企業が利益を得るためのプロセスとそのソリューション群を発表した。セキュリティとガバナンスを確保しつつ、独自のデータや自社特有の文脈に対応させた生成AIの利用が可能になるとしている。

[山口哲弘，ITmedia]

　Clouderaは2023年6月6日（米国時間）、セキュリティと信頼性に優れた責任あるAIを大規模に利用して、企業が利益を得るためのプロセスを発表した。大規模言語モデル（LLM）を活用するための新たなプランを即座に取り入れられる。ユーザーはセキュリティとガバナンスを確保しつつ、独自のデータや自社特有の文脈に対応させた生成AIの利用が可能になるとしている。

　Clouderaのオープンデータレイクハウスは、データウェアハウスとデータレイクの機能を統合し、ビジネスインテリジェンスやAIソリューションを強化する。これらの機能はプライベートクラウドとパブリッククラウドのどちらでも利用可能だ。

プライベートクラウドで動作させられるLLM基盤、FinOps向け機能も

　Cloudera日本法人の社長執行役員を務める大澤 毅氏は、「膨大なデータを管理下に置き、エンタープライズ向けオープンデータレイクハウスを基盤とする生成AIベースのアプリケーションを推進している企業は、当社以外にはない。生成AIやLLMは、学習に用いたデータ以上の品質のものを作り出すことはなく、適切な文脈が必要だ。これらは、まだ信頼を集めなければならない段階にあり、AIに対する信頼を生み出すには、データに対する信頼が必要だ」と述べている。

　Clouderaの「LLM Chatbot Augmented with Enterprise Data」は、信頼性やセキュリティを確保し、責任あるAIを維持した状態でデータから価値を引き出すとしており、LLM基盤を使って生成AIを活用するための青写真を示すものだとしている。

　Clouderaは「誰もが利用できるAIサービスは魅力的ではあるものの、企業は外部サービスと共有することなく、自社独自のデータに基づくインタラクティブな体験を適切な文脈で構築する必要がある」と指摘する。これに対して同社のソリューションは「社内でホスティングした希望のオープンソースLLMと自社データを使って独自のAIアプリケーションを構築できる」としている。

　大澤氏は、「AI市場は急速に変化しつつある。しかし実際のところ、LLMやAIモデルの成功にとって、データやエンタープライズコンテキストが必要であることには変わりない。当社は長年にわたって、企業がAIから価値を得られるよう支援してきた。今後も全ての製品のイノベーションや投資を進め、ユーザーが信頼性とセキュリティに優れた責任あるAIをベースとしたアプリケーションから利益を得られるよう支援する」と述べている。

　なおClouderaは、「Cloudera Data Platform」（CDP）をパブリッククラウド環境やプライベートクラウド環境で利用するユーザーに向けて「Cloudera Observability」を提供することも明らかにした。Cloudera Observabilityは、CDPに実装されるオープンデータレイクハウスのデータやアプリケーション、インフラストラクチャコンポーネントの状況を観測して可視化し、コストの最適化や問題解決の自動化、処理性能の自動改善などを支援するFinOpsソリューションと位置付けられる。

　大澤氏は、「クラウドで運用されるワークロードを管理するに当たって、現代の企業が直面する最大の課題の一つがインフラストラクチャやサービスにかかるコストを世界的な規模で把握することだ。Cloudera Observabilityを活用すると、ワークロードやリソースの利用状況を把握できる。これによって予算超過に対する統制を改善し、自動的な管理を可能にして、処理性能を向上させられる」と述べている。

　Clouderaは「ハイブリッドクラウド環境やマルチクラウド環境は新たなデファクトスタンダードになっている」としており、企業のデータがオンプレミスだけでなく、複数のパブリッククラウドにまたがって保存される状況ではさまざまな部門のクラウド利用を一元的に管理することが困難になっていると指摘する。Cloudera Observabilityは、こうした課題を解決する。

　Cloudera Observabilityは、対応するCDPサブスクリプションの一部として、追加コスト不要で利用できる。「Hive」や「Impala」「Spark」など、データエンジニアリングワークロード向けに利用されるデータエンジンを最適化する際にも役立つという。上位ライセンスの「Cloudera Observability Premium」では、カスタマイズ可能な自動アクションや、より詳細な洞察、自動トラブルシューティング機能なども利用できる。今後、新しいデータエンジンやその他のプラットフォームコンポーネントに対するサポートも追加予定だ。

　Cloudera Observabilityは、CDPによって提供されるClouderaのデータレイクハウスの主要なビルディングブロックである「Apache Iceberg」と相互運用が可能だ。Apache Icebergは大規模なアナリティクステーブル用のオープンテーブルフォーマット。ビッグデータに信頼性をもたらしつつ、複数のコンピュートエンジンによる同時作業が可能だ。