まるでSF映画の管制室！ 全国のオフィスを支える「統合監視センター」がスゴかった

[PR／ITmedia]

PR

　「う、う、うわーーーーっっっ!!!!」

　……冒頭からいきなり取り乱してすみません。ボクはITmedia ニュースの新人記者・カタフチ。2年目になって仕事にも慣れ、先輩とともに日々さまざまなニュースを追い掛けているところだ。そんなボクがなぜ今、社内の複合機の前で立ち往生しているかというと……。

絶望に打ちひしがれるボク

　「やばい……明日の読者イベントまでに資料10枚×40人分を印刷しないといけないのに、複合機が故障だなんて。コンビニ印刷だといったいいくら掛かるんだ……。もう時間がない、詰んだ……。ボクの順調な社会人生活もこれまでか……」（カタフチ心の声）

　悩みに悩んだ挙句、ワラをもつかむ気持ちで当社の情報システム担当・イシノさんにすがってみるも「あー、これは機械が故障してしまっているね。私では直せないよ」とバッサリ。「天はボクを見放したのか」――そう肩を落としたその瞬間、イシノさんから意外な一言が飛び出した。

　「あ、そんなに急ぎなら、うちの会社がお世話になっている大塚商会のサポート窓口に連絡してみるよ。たぶん、ものの1〜2時間で来てくれるんじゃないかな」（イシノさん）

　「な、なんですってーー!!」（ボク）

　――するときっかり1時間後、本当に大塚商会のサポート担当者がやってきて、あっという間に複合機を修理してくれたのだった。「助かった……」。そう思ったのもつかの間、心に余裕ができたボクにある疑問が浮かんできた。

　「でも、なんでこんなに早く当社まで駆け付けられたんだろう。大塚商会のサポートを受けている会社なんて日本中でゴマンとあるはずで、サポートスタッフの人数にも限りがあるはずだし……。それに来てくれた担当の人、ウチの会社のシステムにやけに詳しいみたいだったな……。これは怪しい、怪しいぞ！」（ボク）

　するとイシノさんがこう一言。「それはねカタフチくん、大塚商会のサポート体制に秘密があるみたいなんだ。僕も小耳に挟んだことがあるんだけれど、都内に『統合監視センター』というすごい施設があるみたいだよ」（イシノさん）

　「統合監視センター……？」

まるでSF!?　設備がすごすぎる統合監視センターに潜入！

　後日。読者イベントを無事に終えたボクは、統合監視センターのことが頭から離れなくなっていた。こんなモヤモヤとした気分で働くのは仕事にも良くないだろうと、取材という体で上司を説得し、大塚商会に頼んで見学を申し込んでみたのだった。

　都内某駅から徒歩で少し。そこに大塚商会の統合監視センターがあった！

　生体認証による堅牢なセキュリティシステムの先には、特撮映画やSFアニメで目にする「管制室」を想起させる光景が広がっていた。大型ディスプレイと向かい合わせに配置された扇形の長机にオペレーターが座り、ヘッドセットでしきりにどこかと会話をしている。これと同じ光景、エ○ァとかで見たことがあるぞ！

二重三重のセキュリティシステムをくぐり抜けないとここには入れない。大塚商会の社員でも、統合監視センターに入れる人は限られているという

　この施設の正体は「たよれーるマネジメントサービスセンター」という大塚商会のサポート拠点の一部だ。同社は統合監視センターのほか、江東区・菊川にある拠点などから、顧客向けに24時間・365日のサポートを提供しているという。

　同センターで提供しているサービスは、システムの監視、遠隔操作によるリモートメンテナンス、システム運用支援などさまざま。統合監視センターと菊川拠点のスタッフが協力しながら、100万社を超える顧客企業へのサポートを提供しているという。

　しかしいったいなぜ、アイティメディア社内でボクが困り果てていた時に、すぐにサポートエンジニアが駆け付けてくれたのだろう。たよれーるマネジメントセンターの伊藤昇センター長によると、そこにはこんな秘密があるという。

　顧客企業からのサポート依頼や監視対象サーバからのアラートは、統合監視センターや菊川のサポート拠点に集められ、運用管理ツールと人手によって「どう対応するか」が判断される。その結果に基づき、全国に散らばっているサポートエンジニアのiPadに対して「○○会社がこんなことで困っているから、すぐに駆け付けてください」といった“指令”を出すのだという。なるほど、だからあんなに早く正確にサポートしてもらえたのか！

統合監視センターにアラートが届くとランプとブザーが鳴動し、誰かが対応するまで止まらない

　伊藤センター長によれば、監視対象がサーバの場合はさらにシステマチックだ。顧客企業のサーバには、大塚商会が独自開発した監視エージェントが導入されており、ハードウェアの稼働状況やリソース使用状況、バックアップ状況など、さまざまな挙動が統合監視センターや菊川拠点に常時送られている。そこでいつもと違う挙動やインシデントが発見された際は、ナレッジDB（データベース）と呼ばれるフィルタリングシステムで「故障の危険がある」といった“予兆”を事前に検知し、顧客にサポートを提供する。これにより、顧客が気づくより先にメンテナンスサービスを提供することもあるのだという。

1日100万件のアラートをさばき切る

　話を聞けば聞くほど合理的に作り込まれたシステムだが、このような形になったのはここ数年のことだという。「約10年前は“人海戦術”でサポートを行っていましたが、監視対象のサーバが1万5000台を超えたあたりで限界を迎えたのです」と伊藤センター長は振り返る。

　そこで現在は、1日当たり100万件ほど寄せられる監視対象サーバからのアラートやイベントログを、できるだけナレッジDBでフィルタリングし、本当に危険性があると考えられるものだけに人手で対応する方式を採っているという。

　「未知のエラーコードなどを発見するたび、すぐにメーカーに問い合わせてナレッジDBに情報を入れる作業を毎日行っています。複数のイベントログやエラーコードの組み合わせで故障の予兆をフィルタリングすることで、新しい障害にも迅速かつ確実に対応できるのです。いわば、人が成長させているフィルタリングシステムと言えるでしょう」（伊藤センター長）

たよれーるマネジメントサービスセンターが顧客と関係各所とのハブになり、トラブルを解決してくれる（出典：大塚商会）

　現在は約4万台のサーバを、統合監視センターと菊川拠点を合わせて120人ほどのスタッフで監視しているそうだ。「監視対象のサーバは増えていますが、監視に当たるスタッフは増やしていません。なるべくお客さまのトラブルを先回りして解決することを意識しています」と伊藤センター長は話す。

抜き打ちの「運用訓練」も――ヒューマンエラーが許されない監視担当者たちのこだわり

　統合監視センターで実際に監視業務を担当している人たちにも話を聞いてみた。「とにかく私たちがこだわっているのは、上がってきたアラートに対して手順書通りに対応することです。ヒューマンエラーは決してあってはなりません」と、大塚商会たよれーるマネジメントサービスセンターに常駐している山本純一さんは話す。

大塚商会たよれーるマネジメントサービスセンターの山本さんと村上さん（左から）

　「システム監視において大切なのは、それまで未知のトラブルだったものを既知にしていくことです」と同社の村上晋一郎テクニカルスペシャリストは言う。あらゆる障害などに対処するため、統合監視センターでは3カ月に1度「運用訓練」と呼ばれる訓練を実施しているという。

　運用訓練は、架空の会社・架空のシステム環境を設定し、システム運用監視のロールプレイングを行うものだ。その対象者は毎回抜き打ちで選定。結果を基に「良かった点」「指摘事項」などをまとめ、サービス改善に生かしているそうだ。

　「運用訓練の報告書を読むと、やはりドキっとするものです。そこで得られたフィードバックを基に勉強を重ね、さらなるサービスの向上を目指しています」（山本さん）

---

　身近なトラブルから「サービス＆サポート」に興味を持って取材してみると、その裏側には考え抜かれたシステムと、それを活用して業務に向かう職人たちの姿があった。あなたの会社が受けているサービス＆サポートも、SF映画のような統合監視センターや熟練の監視担当者たちが支えているのかも？

特集INDEX