元日になった瞬間に飛び交う「あけおめメール」は、トラフィックを圧迫される通信事業者にとって、実に悩ましい存在だ。年末年始に向けてKDDIが約2カ月で構築した秘策とは?
家族や知人へ年始のあいさつを伝える「あけおめメール」(あけましておめでとうメール)は、毎年1月1日になった瞬間に飛び交う風物詩ともなった。しかし通信事業者にとっては、トラフィック量が瞬時に跳ね上がることで輻輳(ふくそう)などのネットワーク障害が起こりかねず、実に悩ましい存在だ。
このためKDDIは、メールのトラフィック状況などを瞬時に可視化できることを目的に、2014年10月にログ共通基盤「LKB」の構築をスタート。12月中旬までの約2カ月で完成させた。巨大なトラフィックが生み出す膨大なログデータを処理できる分析環境をどうやって構築したのだろうか。
LKBの構築プロジェクトを担当するプラットフォーム開発本部プラットフォーム技術部 インフラ基盤2グループ課長補佐の水谷聡氏によると、従前の環境ではシステムごとにログサーバやログビューワなどを用意して、システムごとにログ分析を行っていた。
「Excel分析やgrepによる検索を実施していましたが、やはりシステムごとに行うのでは開発や運用などのコストがかかり過ぎるなどの課題がありました。そこでHadoopを利用してログを分析、可視化するために『LKB』の開発に着手しました」
LKBシステムでは“早い”“安い”“うまい”をコンセプトに掲げて、ほぼ内製で開発を行ったという。水谷氏によれば、ログからどのような分析を実施して情報を可視化したいかは、システムを利用する部門ごとに異なる。一方、水谷氏の所属するプラットフォーム部門では個別の分析ニーズがどのようなものかは、なかなか分かりづらい。
「ニーズごとに分析環境を設計、構築していたのでは時間もコストもかかりますし、分析経験を持つ人材も限られました。分析基盤では新しく使い始めてもすぐに簡単に使いこなすことができる汎用性が求められました」
LKBでは各種システムから出力される大量のログデータを一元化し、Hadoop環境で検索や分析、可視化を行えるSplunkのHadoop向け分析ツール「Hunk」を使って処理する。
Copyright © ITmedia, Inc. All Rights Reserved.