データベースでは間に合わない! データ発生と同時にアクションが可能な「リアルタイム分析」:Cosminexus V8 Review
刻一刻と変化する状況を即座に分析するには、データベースを介した分析では手遅れになることがある。Cosminexusではリアルタイムな分析を可能にする「ストリームデータ」処理機能を備えている。
データベースの分析が変化する状況に追いつけないケースとはどのようなものだろうか。例えば株の取引を想像していただきたい。株価の推移や出来高などの情報を、午前の取引が終わってからデータベースを分析し、午後の売買に生かすようでは手遅れだ。刻々と変化する株価情報をベテラントレーダーが勘と経験を駆使してデータの流れをいち早くキャッチ。適切なアクションをタイムリーに行っている。
データの流れをITを駆使してリアルタイムに分析できればスピーディかつ正確なアクションを“人”に頼ることなく施すことができる。データを貯めてから分析するのではなく、発生と同時に分析対象とするのだ。
今までのデータ処理方式では、このデータベースなどに蓄積されたデータをクエリ言語を用いて分析する方法と、データ発生時に個別アプリケーションで処理する方法が主流であった。データベースを用いた場合は、クエリ言語が用意されているが、アプリケーションで処理する方式ではプログラミングが必要であり、新たな方式の追加や変更を行うたびに、プログラムの変更を伴っていた。
リアルタイムデータ処理を可能にするストリームデータ処理技術
蓄積されたデータベースの処理とデータ発生時点でアプリケーションが処理する方式の中間。つまり、多量かつ連続して発生するデータの流れに着目して処理する技術がストリームデータ処理技術だ。
発生と同時に分析を可能にする技術が“ストリームデータ処理”だ。ストリームデータ処理では、分析シナリオをCQL(Continuous Query Language)で記述する。CQLは、ストリームから処理対象となるデータの範囲を指定するために、データベースの標準的な言語であるSQLに時間の概念を導入した親しみやすい言語である。
CQLは、複数のストリームを分析することが可能であり、クエリを連結して複雑な分析を実現できる高い記述性を備えている。この言語インタフェースにより時系列データに対するリアルタイム処理を可能にする。
ストリームデータ処理技術を国内でいち早く製品化したCosminexus
Cosminexusのストリームデータ処理基盤では、ストリームデータ処理をいち早く製品化している。大量データを高速に処理するために、先に述べた「ストリームデータ処理技術」と「インメモリデータ処理技術」を採用している。
「インメモリデータ処理技術」では、システムで使用するすべてのデータをメモリに格納した上で処理する技術である。ハードディスクなどの外部記憶装置とのアクセスに要する時間を大幅に削減できるため、高速なデータ処理を実現する。
「ストリームデータ処理技術」ではクエリをあらかじめ登録する方式を採用。登録したクエリは処理の途中で変更されることがないため、クエリに応じた最適な処理を行える。この特長を利用して、前回処理した結果を中間データとして保持し、入力ストリームと中間データだけを使用して結果を導き出す。つまり、処理対象となる全てのデータの処理を行わず、前回の結果からの差分のみを計算する処理を行っている。
リアルタイム処理の可能性は無限に広がる
ここでは、リアルタイム処理の活用例をいくつか挙げてみよう。
ログ監視・解析によるコンプライアンス強化
いくら堅牢なシステムでも、不正アクセスを完全に防ぐことはできないが、リアルタイム処理を利用することでセキュリティの強化を図ることができる。例えば機密ファイルの一括ダウンロードなど、不正が疑われる行動をリアルタイムに検知し、アクセスをブロックするなどの対策が可能である。
このような緊急性が求められる分析は、ストリームデータ処理の強みが発揮される応用例である。また、分析シナリオを変更することでセキュリティポリシーの変更を柔軟に対応できる。
製造ライン監視による現場の「見える化」
製造業が抱える課題として、製造効率の向上や安定した品質確保がある。現場から発生する大量の各種センサ情報や品質情報をリアルタイムに分析することで現場の「見える化」を実現する。これにより、「変化」や「傾向」を瞬時に捉え、その結果をリアルタイムに製造ライン制御や製造計画変更に反映できる。
車両情報を活用した交通モニタリング
交通分野における車両情報を活用した例として、交通モニタリングがある。これは、情報発信車両から一定間隔で発信される車両位置情報を利用して、各車の速度や走行方向を計算することで、渋滞を検知するものである。
関連記事
- バッチジョブ高速化のカギはJavaVMの常駐化にあり
Javaで作られたバッチジョブの高速化にはJavaVMの常駐化が必要だが、簡単な作業ではない。CosminexusにはJava環境のバッチ処理基盤があり、常駐化が容易になっている。 - メモリリークが多発! メモリの開放漏れはこうやって見つける
システムダウンやスローダウンを招くWebアプリケーションサーバのメモリリーク。Cosminexusのメモリ解析機能はこのメモリリークの回避を支援する。 - Cosminexus V8 Review:「だんまり」を決め込むWebシステム。バグをどう見つける?
開発やシステム運用段階においてWebシステムの無応答状態が発生した場合、原因となるアプリケーションプログラムを特定するのは難しい。Cosminexus標準搭載のJavaVMには、このような問題を解決するトレース機能が備わっている。 - Cosminexus V8 Review:プロの技をシステム化せよ!失敗しないキャパシティ管理
システムの安定稼働を目指すうえでは、サーバのキャパシティを管理することが大切だ。だが、予期せぬ事態への対処には人の判断や操作が介在し、さらなる障害を招きかねない。これを防ぐ方法とは何だろうか。 - Cosminexus V8 Review:誰もができる、一貫した性能ボトルネック解析
性能ボトルネックの解析は、SEの経験やスキルが求められるやっかいな作業だ。クライアント側とサーバ側で一貫した解析を可能にする、Cosminexus搭載の解析ツールについて解説する。 - Cosminexus V8 Review:トラブルよ、さらば!――Webシステム構築のミスを防ぐには
Webシステムの構築の中で特に煩雑になるのが環境パラメータ設定と本番環境への移行だ。これらの作業における手間を省き、ミスをなくすための方法を紹介する。 - アナリストに学ぶ情シストレンド:“サムライAPサーバ”を選択する視点
APサーバには「舶来品」が多い。そのため日本語処理関連で苦労した経験をお持ちの方も少なくないだろう。だが国産APサーバの中には、文字エンコード変換高速化を図り、ユーザーの体感レスポンス改善を図ったものもある。日本の情報システムに最適なAPサーバを選ぶ視点を、アナリストが示す。 - イノベーションに求められる企業情報基盤
去る11月18日、六本木アカデミーヒルズ40にて日立製作所のソリューションを紹介するOpen Middleware World 2008 Autumn Cosminexus Dayが開催された。当日は日立製作所の統合情報基盤「Cosminexus」が牽引するイノベーションについて、多数のセミナーが催された。 - Cosminexus V8 Review:Webアプリの開発は、デバッグ含めワンストップで――MyEclipse
エンタープライズ向けのWebアプリケーション開発では、生産性向上や品質向上に寄与する取り組みや最新技術の採用など、開発環境に求められる要件は多岐にわたる。CosminexusではMyEclipse環境を中心に開発者の要求に応える。 - HITACHI Open Middleware World 2008 Autumn Report:仮想化時代に求められる運用管理の手法とは
11月17日、日立製作所の最新ITソリューションを紹介する「Open Middleware World 2008 Autumn」が開幕した。同社の運用管理ソフトウェアである「JP1」およびアプリケーションプラットフォーム「Cosminexus」の最新機能を中心に、事例や展示を織り交ぜた総合的なソリューション紹介が行われている。 - Cosminexus V8 Review:サーバダウンは起こるもの。だがユーザーには迷惑をかけない!
Webシステムを安定稼働させるための課題は、メモリ管理方式だけではない。想定外のリクエスト集中でもシステムを止めない工夫や、部分障害の全体波及を食い止めたり、障害の兆しを検知して先手を打ったりする必要がある。
Copyright © ITmedia, Inc. All Rights Reserved.