AI推進の裏で企業を襲うデータ管理のわな 大量情報がもたらす課題と解決方法：GPUを遊ばせないデータ基盤の構築術

AI活用が進んでいるが、データは分散し、統合後も数PBを超えるデータの移行には年単位の時間を要する。AI投資が無駄にならない「データ基盤」づくりの盲点と、その解決方法とは。

[PR／ITmedia]

　AI技術の活用が急速に広がる中、企業のデータ基盤は大きな転換点を迎えている。データの肥大化、複数のシステムに分散するデータサイロ化、AIに提供するデータの品質や鮮度、それらのデータを狙う攻撃への備え――。多様な課題が、IT部門の両肩に重くのしかかっている。負荷の高いAI処理をどのように実施すべきかというワークロードの設計も重要な検討項目だ。

　これらは、すでに一部の大企業だけのものではなく、AI技術を活用しようとするさまざまな企業の経営課題と言える。データの品質や鮮度を維持しながら、いかに蓄積、管理すべきか。データ基盤の再考が、AI活用の成否を左右することは間違いない。以下で、データ基盤の課題の本質とその解決に向けたアプローチを探る。

AIが突き付けるデータ基盤の現実

　AI技術の普及に伴い、企業がデータ基盤に求める水準が急速に高まっている。数年前には数十から数百TB級のストレージが一般的で、P（ペタ）B級の容量を求める企業は限られていた。しかし現在、数十PBのストレージに注目するのは大企業にとどまらない。AI活用の波は業種や規模を問わず押し寄せている。

AI活用の障壁（提供：デル・テクノロジーズ）《クリックで拡大》

　AI活用を見据えたとき、データ基盤の課題は4つに整理できる。

• データの分散、サイロ化
  • データが物理的にあちこちに点在し、しかも構造化データと非構造化データが混在しており、一元的に管理できていない。
• データの品質と鮮度
  • AI基盤を機能させるには、高品質の新鮮なデータを蓄積・供給し続ける仕組みが不可欠だ。
• ワークロードの最適配置
  • AIの処理は非常に負荷が高い。そのため、GPUをどこに配置すべきか、データをどこで管理すべきかなどのシステム設計の問題が生じる。既存のCPU中心のサーバとは異なる考え方が必要だ。
• サイバーレジリエンス
  • AIシステムを狙った攻撃を防ぐための対策が欠かせない。

　サイバーレジリエンスについて、デル・テクノロジーズの新川順一氏は次のように語る。

　「脅威の侵入を防ぐための単なる境界防御だけでは不十分です。近年は、侵入を前提として被害にいち早く気付けるかどうかを重視するようになっています。AI基盤においても、OSのアクセス権限管理など、厳密な対策を複数の箇所で実施しなければなりません。一番保護するべきはデータですから、ストレージ基盤のセキュリティ強化は極めて重要な意味があります」

デル・テクノロジーズの新川順一氏（インフラストラクチャー・ソリューションズ営業統括本部 UDS営業本部 部長）

容量も性能も重視する「PowerScale」と「ObjectScale」の強み

　デル・テクノロジーズは、AIシステムのデータ基盤として「Dell AI Data Platform」を提供している。これは同社のエンドツーエンドAIソリューションを支える「Dell AI Factory」の中核的なデータ基盤であり、分散・サイロ化したデータを統合し、分析やAI活用を支援するモジュール型基盤として設計されている。データの格納と管理を担う「ストレージエンジン」のストレージ基盤として注目したいのが「PowerScale」と「ObjectScale」だ。

　両製品は、スケールアウト型アーキテクチャを採用しており、強力な拡張性が特長の一つだ。ノードを追加して容量を増強しても、性能が頭打ちになってしまう製品も中にはある。PowerScaleとObjectScaleは、ノードを増強すると性能がそれに比例して向上するように設計されている。AI基盤では、データが増えれば増えるほど性能の向上も求められる。

　PowerScaleは、「NFS」や「SMB」といった一般的なプロトコルに加え、「Amazon S3」などのオブジェクトストレージサービス互換プロトコルにも準拠し、柔軟性と利便性の向上を図っている。データ保護技術を搭載し、ドライブ全体がデータを補完し合う構成によって高い信頼性を実現している。デル・テクノロジーズによると、容量効率も高く、PowerScaleは80〜90％を維持できる。

　PowerScaleについて新川氏は、リプレース時のデータ移行に関する課題を解決できる点を強調する。「ストレージ容量が10PBを超える場合、データ移行の完了までに年単位の時間が必要になり、作業中に次のリプレースを考えなければなりません。PowerScaleであればリプレース時のデータ移行作業は不要で、無停止のまま自動的に新しいシステムに切り替えられます」

　ObjectScaleは、より大規模なデータ基盤を想定したオブジェクトストレージだ。PowerScaleはノード台数に上限が設けられているが、ObjectScaleは理論上、無制限に容量を拡張できる。S3互換プロトコルに準拠しており、クラウドネイティブなアプリケーションとの親和性も高い。

Dell AI Factoryのアプローチ（提供：デル・テクノロジーズ）《クリックで拡大》

GPUを待たせない、大規模AI学習を支える新技術

　Dell AI Data Platformは、さらなる高性能化に向けたストレージ技術を投入している。その一つが「Lightning File System」だ。

　PB超のデータを扱う大規模なAI学習基盤においては、データ量が巨大化すればするほどストレージからGPUへのデータ供給が遅延し、GPUの待ち時間が課題になる。新川氏によると、Lightning File Systemは高速かつ大容量の並列処理によってGPUを最大限に稼働させ続ける環境を実現する。

　「Dell AI Data Platformは、GPUにデータをいかに『軽く』『早く』渡せるか、ストレージ側でできる処理をどのように引き受けられるかという点に注目しています。Lightning File Systemに限らず、ストレージエンジン全体としてこの思想で開発しています」と新川氏は述べる。

　もう一つ、AI基盤の柔軟性という視点で注目したい技術が「Dell Exascale Storage」だ。Dell PowerEdgeサーバにストレージソフトウェアを搭載するソフトウェア定義型アーキテクチャを採用しており、PowerScale版、ObjectScale版、Lightning版、さらにPowerFlex版を選択できる。AI基盤は、プロジェクトやビジネスの変化に応じてストレージへの要求も変わる可能性がある。共通のハードウェアを維持しつつ、ファイル（並列ファイルシステムを含む）、オブジェクト、ブロックストレージを切り替えたり比率を調整したりすると、さまざまなニーズに対応できる。

Dell AI Data Platform（提供：デル・テクノロジーズ）《クリックで拡大》

自動車やゲーム、金融　広がるAIデータ基盤の導入

　Dell AI Data Platformを支えるスケールアウト型PowerScaleストレージは、さまざまな業種に導入されている。

　自動車業界では、複数社がADAS（先進運転支援システム）向けのデータの蓄積・活用基盤としてPowerScaleを採用している。ゲーム業界は企業規模を問わず大容量ストレージの需要が急増しており、デル・テクノロジーズの技術への注目度が高まっている。

　金融機関においては、銀行や証券会社のアプリケーション基盤を中心にPowerScaleとObjectScaleの活用が広がっている。将来はAIエージェントを利用した顧客向けサービスの強化が期待される。

　新川氏によると、デル・テクノロジーズはプロフェッショナルサービスの強化・拡充を進めている。

　「当社のプロフェッショナルサービスは、単にシステムの構築を支援するだけではありません。お客さまのデータが『社内のどこに格納されているのか』『どのようなデータがどれほどあるのか』、質と量の両面から評価することから始まります。AI活用に取り組みたいが、活用できるデータはあるのか、どこにあるのかといった基本的なところの整理から支援して、共にAI基盤を構築します」

　AI技術を活用したいと思っても、どうやってデータ基盤を整備すればよいか分からないという企業が大半だろう。デル・テクノロジーズは技術の提供にとどまらず、AI活用によるビジネス強化施策の第一歩から支援する体制を整えている。