トラブルを招く“LANケーブル・スパゲッティ”：運用管理の過去・現在・未来

サーバ室という密室の中での事件・事故は、なかなか表沙汰にならないものである。しばしば「結果オーライ」で終わり、そのまま誰の記憶からも忘れ去られてしまうのだ。

[岡田靖，ITmedia]

このコンテンツは、オンライン・ムック「運用管理の過去・現在・未来」のコンテンツです。関連する記事はこちらでご覧になれます。

　混沌としたサーバ室の中での作業、ときには意外な失敗もある。今回は、ある社内サーバ管理者のちょっとした手抜きが重なって引き起こされたトラブル例を、あるシステム管理者の回顧という形で紹介しよう。

あまりに順調すぎて

　今回は、そんなに難しくないはずの作業だった。新しく調達したサーバをセットアップして本番機とし、今まで使ってきたサーバを予備機に回す。ただそれだけの作業だ。

　実際、ラックに設置する前のセットアップは簡単だった。何度もアップデートを繰り返して現状に至った本番機に合わせて最新のモジュールを放り込み、それぞれの動作をチェックするが、特に問題は見られない。本番機から必要な設定を拾い出してコピーし、各項目を目視で確認するが、これも問題なく完了した。

　実際に入れ替え作業を行うのは深夜の予定だ。しかし、夕方になる前には事前に必要な作業を順調に消化し、すっかり時間ができてしまった。何もせずにいるのも勿体ない。何か、追加でできる作業はないだろうかと考えてみると、一つ、事前にやっておけそうな仕事があった。

　このサーバはWebとアプリケーションのサーバで、データベースは別のサーバが管理しているから、そこにアクセスできることを確認しておけばいい。といっても、予算の限られたシステムなので、データベースサーバは本番機とそれに併設されたスタンバイ機しか存在しない。そこで念のため、一足早くラックに積み込んで仮のIPアドレスを割り振り、実際に動かして連携を確認しておくことにしたのだ。

　人手に余裕がある日中のうちにラックへの積み込みを終えておいた方が圧倒的に楽である。深夜に積み込みを行うために頼んでいたアシスタントも、できれば早く帰りたいと言っていたから、こちらも好都合と言える。設置場所はラックの下の方にあるので、取り出すだけなら一人でもできる。ラック自体にも比較的余裕があるし、配置もルーズだから、事後にでも場所が入れ替わったことを他の管理者に周知しておけば済む。特に問題はないではないか。

　手の空いた人たちを集めて積み込み作業を行い、さらに仮IPアドレスによるテストも全く問題なく終えることができた。人数が多いと、力仕事も楽しいものだ。これで、あとは深夜に切り替えを行うばかりとなった。ここまで来れば、今日の仕事は8割方終わったようなもの。ゆっくり夕飯でも食べるとするか。

で、どれだっけ？

　のんびりと書店で資料を買い込み、夕食とその後の読書で時間を潰し、深夜に一人、再びサーバ室へと戻ってきた。いよいよ本日の最後の仕事に取りかかる時間だ。

　ユーザーには、保守で1時間のサービス停止だと伝えてある。それまでには余裕で終わるだろう。KVMを引っ張り出して古い方のサーバを見、アクセスが途切れていることを確認した上でシャットダウンする。

　一方、新しい方のサーバは、夕方に確認を行って以来、電源が入ったままだ。実は、ベテランの管理者から、「クルマと同じくサーバも慣らし運転をしておいた方が安定する」と聞いたことがあるので、少し走らせていた。KVMスイッチを切り替えてみると、問題なく動作し続けている。慣らし運転というのは、本当に役に立つのだろうか。

　それはともかく、これでラック前面での作業はひとまず終了だ。

　続いて、ラックから取り出すためにケーブルを外さねばならないので、背面に回る。空調は行き届いているようだが、背中合わせに並んだラックの裏側は少し狭い配置となっているので歩きづらい。そういえば最近、メタボリックだのと言われるようになったっけな。昔の言葉で言えばビール腹だ。先刻のような空いた時間には、フィットネスクラブにでも行くべきだろうか。

　そんなことを考えつつ早足で目的のラックに辿り着くと、うっすらと汗をかいているのに気付いた。こんな空調の効いた場所で、少し歩くだけで汗をかくなんて。やっぱり運動しなきゃ。今日は深夜勤務だから明日は半休だ。さっさと片付けて早寝して、早起きして近所のフィットネスに行こう。

　さて、問題のラックはここだ。

　相変わらずケーブルがゴチャゴチャしている。某スイッチベンダーのエンジニアは芸術的なケーブリングをすると聞いたことがあるが、これはその対極だな。相変わらずウチの会社の連中は、「繋がればいい」「動けばいい」という基本に忠実だ。

　それで目的のサーバはどこだったか。下から3番目？ 4番目？

　サーバは似たような機種ばかり使っているから、背面だけでは容易に区別がつかない。設置したときに皆に手伝ってもらったせいで記憶も曖昧だ。電源を切ってもイーサネットのLEDは消えないから、抜くべきサーバを特定できない。古いサーバなら、すぐ分かったのに。

　サーバ配置のメモは机に置き忘れてきてしまった。早く帰って寝たいのだ。戻る時間も惜しい。まあいい、たしかこれだったはずだ。目星をつけてLANケーブルを抜き、KVMのケーブルを抜き、そして電源ケーブルを抜く。

　…あ、ファンが止まった気がする。やっちまったか。

急がば回れ

　このとき、サーバの負荷がほとんどなかったから、冷却ファンの回転数も低く抑えられていた。空調ノイズが騒々しいサーバ室の中でそれに気付くことはなかったのだ。だからといって、その動作を確認する方法はあったはずだ。指先に唾をつけて通気口の前にかざすだけで区別できただろうに。

　慌ててケーブルを戻し、前面に戻って状況を確認する。うっかり電源を抜いてしまった新しいサーバには、ひとまず何の問題も見当たらなかった。

　溜息にも似た深呼吸をしてから、頭を振って配置メモを置いた机に向かって歩く。考えてみれば、いくつかの小さな手抜きが重なった失敗だった。手順を変えたことを確実に記録しておくべきだった。あるいは、手順をきっちり守るべきだった。

　メモを持ってラック前面に戻り、改めて配置を確認した上で背面での作業を再開、今度は間違いなく片付けた。結局、一つひとつの操作を確認しながら進めた結果、作業全体としては予定通りの時間がかかってしまった。文字通り「急がば回れ」だ。

　時間は予定通りだし、サーバの稼働そのものに問題は出ていないのだから、結果オーライではある。とはいえ、危なかった。反省せねば…。

　サーバ室を出た途端、妙に疲れを感じた。帰ったらビールでも飲んで、昼近くまで寝てしまおうかな。