ビッグデータ活用のアキレス腱：Weekly Memo

富士通研究所がビッグデータを効率的に収集する分散処理技術を開発した。その背景にあるビッグデータ活用の必然的な課題に注目したい。

[松岡功，ITmedia]

ビッグデータの通信量を100分の1に

　富士通研究所が3月13日、クラウドに収集される大量の実世界のデータを、ネットワークを中継するゲートウェイを介して効率的に収集する分散処理技術の開発に業界で初めて成功したと発表した。

　新技術の中核となるのは、クラウド上の処理の一部をゲートウェイに最適に分散配置するアルゴリズムである。この技術を使って、ゲートウェイ上でデータを処理し、ビッグデータから必要なデータを効率的にクラウドに収集することで、通信量を従来の約100分の1に削減できるという。

　これにより、大量の実世界のデータ、すなわちビッグデータを、通信コストを抑えながらクラウド側で容易に活用できるようになるとしている。

　例えば、消費電力の見える化のケースでは、各事業所単位で集められる分電盤や電源タップからの生データは、本社の経営層に対して会社単位の集計データに加工して提示される。そこで、各事業所のゲートウェイでそれらを事前に集計処理してその結果だけをクラウドに送ることで、送信するデータ容量を抑えることができる。

　また、クラウドに送らなかった生データは、クラウド側で本当に必要になったときに初めて圧縮送信することで、生データを個別に送るよりもデータ量を削減できる。新技術はこうしたアプローチを採用している。

　新技術に関するさらに詳しい内容については、すでに報道されているので関連記事等を参照いただくとして、ここでは今回の新技術開発の背景にあるビッグデータ活用の必然的な課題に注目したい。

　富士通研究所はその課題をこう説明した。

　「大量の機器がネットワークに接続されることによる通信量の増加に伴い、クラウドや通信網の設備増強が必要となり、通信コストの増加をまねくことが大きな課題になっている。近年のスマートフォンの普及や、今後ヒトだけでなく大量の機器がネットワークにつながるようになると、通信量はますます増加することが予想され、通信量の削減技術が強く求められている」

　さらに、会見で説明に立った同社ヒューマンセントリックコンピューティング研究所の佐々木和雄主任研究員は、「レスポンス性能を維持しつつ、実世界からビッグデータを集めるのは、ICTリソースを大量消費してコストが膨らむばかりになる。また、すでに通信業界では通信トラフィック増加への対応が迫られており、さらに切迫すると、従量課金や帯域制限への動きが起こりかねない」と付け加えた。

会見に臨む富士通研究所 ヒューマンセントリックコンピューティング研究所の飯田一朗所長（左）と佐々木和雄主任研究員

通信網への負荷が“アキレス腱”に

　携帯電話業界の世界団体であるGSMAの調査によると、通信端末の数は現在90億台から2020年には240億台に増加。そのうち、M2M（Machine-to-Machine）関連機器は現在30億台から同120億台に増加する見通しだ。

　また、通信量・データ量は、消費電力の見える化のケースでは、4万人規模の企業でセンシングし続けると常時約300Mbps必要となり、蓄積データは月に100テラバイトに達する。さらに通信コストは、機器の稼働ログ収集だと、1万台の収集で月額最大1000万円規模になるとしている。

　佐々木氏によると、こうした状況に対処するために、これまでもデータ量を削減する試みは行われてきたという。例えば、通信分野ではパケット圧縮などの技術が開発されてきたが、「通信分野だけでの対応には限界があり、情報処理分野からのアプローチが求められている」と指摘。

　そこで今回、ネットワーク装置などに処理能力を持たせ、ゲートウェイとしてデータ発生源の近くに設置し、フィルタリングや統計処理などの前処理を行って、その結果だけをクラウドに集めることで全体の通信量を下げる技術を開発したという。

　一般的に、データの活用は、収集、保管、処理（整理）、分析、（分析した結果の）実行といったプロセスがある。それはビッグデータも同じだ。だが、ビッグデータの活用については、これまでともすれば分析を中心として保管以降のプロセスに目が行きがちだったように見受けられる。

　今回の富士通研究所の新技術は、データ活用プロセスの入り口である収集を効率化する仕組みで、情報処理分野からのアプローチとして画期的なものだといえる。と同時に、今後のデータ収集はクラウド利用が前提になるので、これまでにも増して通信網に負荷がかかるのは必至だ。その意味では、通信網への負荷がビッグデータ活用の“アキレス腱”であることをしっかり認識しておくべきである。

　最後に、この問題における筆者の持論を述べておきたい。ICT業界には通信網の負荷拡大への危機打開に懸命に取り組んでいただくとして、この現象は、ひいてはエネルギー対策をはじめ、さまざまな社会問題とも関係していく出来事だと考える。

　物理的なものが足りなくなる可能性がある中で、技術でそれを乗り越えようというだけでいいのか。ビッグデータの活用といっても、無駄なデータは省きたいところだ。いや、無駄だと思われるデータにこそイノベーションの種がある、との考え方も理解できるが、活用するデータを取捨選択しマネジメントすることこそが人間の知恵だと考える。

　今後、ビッグデータを活用していくうえで、その出発点はとても大事なことのように思えてならない。