富士通、超高速・高信頼の大量データ処理に挑む：インメモリ・データ管理ミドルウェア「Primesoft Server」を説明

[内野宏信，＠IT]

　富士通は3月26日、東京証券取引所の次世代株式売買システム「arrowhead」の機能を支える同社の高速データ管理ミドルウェア「Primesoft Server」の説明会を行った。大量データの高速処理、高信頼性を追求した製品で、今後はこの技術をほかの製品にも反映し新たな市場の開拓を狙うという。

　金融・証券、流通業界をはじめ、多くの企業がぼう大なデータの高速処理を求められている。特に証券市場ではミリ秒単位の処理が必須であるほか、毎秒数万件という大量のトランザクションが行われている。こうした状況に対応するため、「既存技術にとらわれない発想で、けた違いの高速性を追求」することをコンセプトにPrimesoft Serverの開発に取り組んだという。

　特徴は3つ。1つは「従来のデータベースを凌駕するレスポンスと大量スループットの実現」。これには主に3つのポイントがある。まず、データをハードディスクではなく半導体メモリに保存してI/O処理を避けることで、処理速度を向上させた。一般的なインメモリ・データベースの場合、ログだけはメモリ外部のディスクに定期的に書き込んでいるが、本製品の場合はログも含めてインメモリで処理する“完全ディスクレス”である点が大きな特徴だという。

　システムアーキテクチャも工夫した。システムに求められる各種機能のうち、注文受付、受注処理など、高速のレスポンスが求められる処理は「フロントエンド処理」、データを長期間保存するための処理は「バックエンド処理」と位置付けて両者を分割。非同期メッセージングで結ぶ仕組みとすることで、大量・高速処理と確実なデータ蓄積を両立させたという。アプリケーションの状況に左右されない非同期メッセージングキューや、キー順アクセス／乱アクセスに対応できる「Primesoftテーブル」を採用することで、データの高速・大量更新に耐えうるトランザクション管理の堅牢性も高めた。

アクティブ・インスタンスにおけるテーブルやキューのデータを、複数の物理ノードに自動的にミラーリングしデータを冗長化する

　2つ目の特徴は、「冗長化とノード異常時の高速切り替えによる可用性の確保」。本番用として稼働しているアクティブ・インスタンスにおけるテーブルやキューのデータを、ほかの物理ノードに自動的にミラーリングしデータを冗長化する。アクティブ・インスタンスの異常時には、予備の物理ノード上で稼働する、データをミラーリングしたスタンバイ・インスタンスに数秒で切り替えるという。

　3つ目はテーブル・パーティショニング機能と仮想化技術を活用した拡張性だ。アプリケーション／テーブル／キューで構成される各データ処理の実行環境を任意に分割し、複数の物理サーバにまたがせて配置することができる。これにより、CPUやメモリをより有効に活用できるほか、リソースの不足時にはノードグループを追加するだけで拡張できる。もちろん、アプリケーション側は各実行環境がどのサーバ上にあるのかに関係なく、該当ノードにスムーズにアクセスできるという。

アプリケーション／テーブル／キューで構成される各データ処理の実行環境を、複数の物理ノードにまたがせるように任意に配置できる

　このほか、異常時もシステムを止めないための機能として、アプリケーション層、インスタンス層、ノード層の3層に切り分けた運用を実現し、どこかに異常があれば、それぞれ個別に予備のアプリケーション、インスタンス、ノードに切り替えられる仕組みとしている。　

　高速性・高信頼性を実現するため、TCPに比べて軽量なUDPプロトコルを採用したこともポイントだ。ただ、UDPは「本当に送信できたかのか否か」という信頼性の面でTCPに劣る。そこで、アクティブ、スタンバイ含めた全インスタンスからのACK応答を『トランザクション制御レイヤで確認する』あるいは『ネットワーク制御レイヤで確認する』、アクティブ・インスタンスからのACK応答を、『トランザクション制御レイヤで確認する』あるいは『ネットワーク制御レイヤで確認する』という4つのデータ送達確認パターンを用意。状況に応じて任意に使い分けられるようにして信頼性の問題に対応した。

同社 プラットフォームソフトウェア事業本部 次世代社会基盤ミドルウェア開発統括部 統括部長代理の橋詰保彦氏

　同社 プラットフォームソフトウェア事業本部 統括部長代理の橋詰保彦氏は、「Primesoft Serverは、データベースとネットワークの専門技術者を社内から結集して開発したシステムであり、新しい発想が複数反映されている。例えば、東証のシステムは盛んにデータ更新が行われるが、そうしたシステムでありながらメモリを冗長構成で持つ、という発想はこれまでなかったのではないか。数々の発想や弊社の技術を活用することで、高速・大量トランザクション処理／複合イベント処理の基盤テクノロジは確立できたと考えている」と力説。

　今後の展開について、「ここまでの超高性能／高信頼性が求められるケースは多くないと思うが、本製品の技術をより使いやすい形にアレンジすることで、ほかのラインナップにも活用するなど、ゆくゆくはより多くの企業に届けていきたい」と述べた。