ルータ2000台が3秒でダウン 「フレッツ」「ひかり電話」大規模障害

[岡田有花，ITmedia]

謝罪する大木一夫副社長（中）と、ネットワーク事業推進本部の吉村辰久設備部長（右）、コンシューマ事業推進本部の安田雅美営業推進部長

　NTT東日本のネット接続サービス「フレッツ」と、IP電話「ひかり電話」が5月15日夕から7時間にわたって一部で利用できない状態になった問題について、同社は16日午後に会見を開いて詳細を説明し、謝罪した。

　障害の原因はルータの処理能力オーバー。都内にある1台のルータの障害が、同社管内の約4000台のルータに3秒間で伝わり、うち約2000台が機能を停止。北海道、宮城県、群馬県など14都道府県で一斉に障害が起き、ひかり電話は「119番」「110番」など緊急電話も使えなくなった。

　同社副社長の大木一夫・ネットワーク事業推進本部長は「当社のIP網で起きた過去最大の故障。みなさまに多大なご迷惑をかけ、誠に申し訳ない」と謝罪しつつも「これを教訓に安心・安全のネットワークを構築したい」などと語り、Bフレッツ販売促進やネットワークのフルIP化などへの取り組みは従来通り続ける方針を示した。

1台の故障が2000台に波及のからくり

　障害が起きたのは、15日午後6時44分ごろ。台東区蔵前にある同社ビル内に設置したルータ1台でハード故障が発生したため、予備系に切り替えて故障部分のパッケージを交換し、その後元のルータに再接続したが、これが引き金になった。

　再接続すると、同社管内の約4000台のルータでルート情報の自動書き換えが行われるが、その際、一部で処理能力を超えるルート情報が発生。連鎖的に約2000台のルータで処理能力をオーバーして「ルートフラッピング」と呼ばれる状態になり、パケット転送処理が停止した。

　管内の全ルータが処理しているルート情報は約1万5000。再接続したルータが持っていたルート情報は約80ある。再接続の際、各ルータは1万5000のルートから80のルートを探し出して再計算する処理を行ったが、処理能力の低い旧バージョンのソフトをインストールしていたルータの一部で処理が追い付かず、機能を停止した。

　あるルータが機能を停止すると、そのルータのルーティング情報を書き換える負荷が他のルータにも加わり、負荷を高めることになる。この結果、旧バージョンのソフトを利用していた計約2000のルータが連鎖的に停止に追い込まれた。

　影響を受けたのは、フレッツサービス約239万契約（Bフレッツ約100万契約、フレッツADSL約126万契約、フレッツISDN約13万契約）と、ひかり電話約50万契約。地域別では、千葉、埼玉、神奈川は通じていたが、それ以外の北関東と北海道、東北、甲信越14都道府県で障害が起きた。東京は23区以外のユーザーの一部に影響が出た。

　不具合は、ルータをリセットすることで回復。16日午前1時35分までに全ルータで機能が回復した。

　現在は、保守・管理用など「必要度の低い」（ネットワーク事業推進本部の吉村辰久設備部長）ルート情報約2000を一時的に削除し、負荷を下げて運用している。「旧バージョンのソフトでも、処理能力が足りなかった訳ではない」（大木副社長）としながらも、今後約10日間かけてソフトウェアを新バージョンに更新するほか、ルート情報の整理も進めるなど対策していく方針だ。

原因は「複合要因」　Bフレッツ加入者急増の影響も

　ルータが故障した場合に、予備系に切り替えて修理後再接続するというケースは日常的にあるという。吉村設備部長によると「テストも繰り返し行っており、これまで特に不具合はなかった」というが、今回は「1万5000や80というルートの多さや、各ルータが行っていた通常処理の負荷など、複合的な要因が重なって」障害につながったという。

　同社はFTTHの拡販に力を入れており「Bフレッツ」の加入者数は昨年3月末から今年3月末までの1年間で150万件増えた。ユーザーの急増によるルータの増設やトラフィック増も障害一因と大木副社長は認める。

　NTT東の「ひかり電話」は、サーバのソフトウェア不具合などが原因で、昨秋にも3日間にわたってつながりにくい状態が続いた（関連記事参照）。「今回は昨秋のケースとは全く別」と大木副社長は説明するが、「新しい技術で、まだ遭遇していない事象もあるだろう。テストや技術者の育成・研修に力を入れていきたい」とした。

フレッツ拡販は「続ける」

　大木副社長は「フレッツを販売停止する必要があるほどの不安定さとは思わない」と話し、Bフレッツやひかり電話の拡販は続ける方針。同社幹部の処分などについては「まだ言及すべき段階ではない」とした。

　16日午前10時までに同社に寄せられた問い合わせは2万1000件。「状況の確認や、お叱りの電話が多かった」（大木副社長）という。