クラウド活用で集まるデータは企業にとって多すぎる？ 9割以上を処分している現実：CIO Dive

クラウドネイティブのテクノロジースタックが生み出すデータの量や速度はそれらを処理するための企業における設備や人員を上回る。提供されるデータが多すぎるのではないか。

[Matt Ashare，CIO Dive]

　Coleman Parkesが1300人のCIO（最高情報責任者）とシニアIT実務者を対象に行ったグローバル調査によると（注1）、クラウドへの移行に伴うデータマイニングはほとんどの企業で実際の分析能力を超えていると明らかになった。

　回答者の約4分の3が「データ管理に苦労している」と回答しており、ほぼ全ての経営幹部が、クラウドネイティブやマルチクラウドにおける観測可能性とセキュリティの拡張に苦戦している。

　データ管理に関する問題解決を妨げている原因に「プラットフォームの急増や運用」「DevOpsに関わる人材確保の難しさ」などがある。CIOの5人に3人が、「クラウド化されたテクノロジースタックに対応するため自動化が必要だ」と回答している。

90％のデータが処分される現実　データの価値を失わないためにできること

　データが多い場合、ビジネスの意思決定は容易になり運用効率が改善され、成長が促進されるのが一般的だ。しかし、「多すぎる」と問題が生じる。

　企業はクラウドの実装によって、優れたテクノロジーを迅速に導入し、より多くのデータを収集できる。これは分析チームが圧倒される程のデータ量だ。仮に企業がデータの適切な処理やマッピング、マイニング、セキュリティ異常の監視などができない場合、このデータ価値は失われる。

　ほとんどの企業は、収集したデータの大部分を廃棄している。調査によると、収集されたデータの最大90％は分析段階に到達しない。また、ほとんどの企業のテクノロジースタックは、データのわずか9％を基に提供している。

　ソフトウェア企業のDynatraceのCMO（最高マーケティング責任者）であるマイク・マチアグ氏は、「今日、存在するシステムはあまりに遅く、高価だ」と述べる。

　「90％のデータを捨てることになるのであれば、どのような種類のデータを使用できるか、事前に仮説を立てる必要があり、これは尋常ではない」

企業は対応策を取るも、もはや自社対応は無理か

　IT人材の確保とリテンションがモダナイゼーションの妨げとなる中（注2）、企業はAI（人工知能）導入や自動化に目を向けている。Gartnerが2022年8月に発表したレポートでは、回答者である経営陣の大半が「自動化技術に強気だ」と回答し（図3）、10人に7人が「AI人材の調達が比較的容易だ」と報告している。

　一方、データサイエンスに関わる人材不足（注4）が分析プロジェクトの妨げになっている。この状況はさらに悪化しており、エンジニア向け求人サイトのDiceが300万件の求人情報を基に分析した中間報告によると、データに関する専門家の需要は2022年上半期に昨対比で大幅な伸びを示した（注5）。データアナリストやデータエンジニア、データサイエンティストは最も需要の高い技術職のトップ10にランクインしている。

　人材不足の問題がなくとも、データ運用にはストレスが付き物だ。

　クラウドは企業ITにとって、「アドレナリンの分泌を促進する」ようなものだが、データチームにとっては恵みであり災いだ。データの量や速度、種類が増えるにつれて、そのデータを監視し追跡するために必要なツールの数も増えている。

　企業は全てのビジネス機能にリアルタイムの洞察を求めており、その中でデータを管理してサイロ化を防ぎ、適切なアクセスを提供することは困難だ。

　「これまで自社でできるとされたロギングや大規模な分析は、企業が必要な人材を採用しても手作業ではできないものになりつつある」（マチアグ氏）

初出：CIO Dive「Cloud delivers data too much, for most companies」

注1：dynatrace「Global CIO Report Reveals the Challenges Organizations Face as Cloud Complexity Rises」

注2：CIO Dive「Historic highs in tech job postings persist through first half of year」

注3：CIO Dive「AI for everyone: Companies are bullish on automation」

注4：CIO Dive「Talent scarcity hinders data science adoption」

注5：CIO Dive「Historic highs in tech job postings persist through first half of year」

原文へのリンク