宇宙誕生の謎に挑戦する素粒子物理学の最前線「Belle II実験」を支える中央計算機システムを全面刷新［導入事例：高エネルギー加速器研究機構］

高エネルギー加速器研究機構（KEK）は、宇宙初期に起こったと考えられる極めてまれな現象を再現し、未知の素粒子や力の性質を明らかにするための国際共同実験として、2017年秋より「Belle II実験」のビーム衝突運転を始める。この研究活動を支える中央計算機システムが全面的に刷新された。どんなにパフォーマンスを増強してもまだまだ足りない――。これまでと“桁違い”のコンピューティング・パワーを実装した、KEKのHPCクラスターとは。

[PR／ITmedia]

PR

この記事は日経BP社の許諾を得て「ITpro Special」（2016年11月11日から掲載）の広告を抜粋したものです。無断転載を禁じます。©日経BP社

なぜ反粒子だけが消えてしまったのか？　宇宙誕生の謎に迫る「Belle II実験」が間もなく始動

　全ての粒子には、反対の電荷を持つ「反粒子」が存在することがわかっている。宇宙誕生の直後には、ビッグバンの高エネルギー状態からつくられた粒子と反粒子が、まったく同じ数だけ存在したと理論上推定されている。

　しかしながら日常世界では、反粒子でできた反物質は見つかっていない。粒子と同じ数だけ存在した反粒子は、そのほとんどが粒子と対になって消滅し、何らかの理由によって粒子だけが現在の宇宙に生き残ったと考えられる。

　それにしても、なぜ反粒子だけが我々の宇宙から消えてしまったのか――。こうした宇宙誕生の謎、そこに隠された新たな物理法則を探るべく、高エネルギー加速器研究機構（以下、KEK）が中心となり、国際協調による共同実験として準備が進められているのが「Belle II（ベル・ツー）実験」だ。

　2008年にノーベル物理学賞を受賞した小林誠氏と益川敏英氏の両博士が理論で示した「CP対称性の破れ」を実験的に証明するなど多くの成果を挙げてきた「Belle実験」（1999〜2010年）を、継続的に発展させたものがBelle II実験である。具体的には、Belle実験で蓄積されたデータの約50倍となる膨大なデータを収集・解析することで、粒子と反粒子の対称性の破れや宇宙の誕生初期に起こったはずの極めてまれな現象を再現し、未知の粒子や力の性質を明らかにしていくという。

Belle II（ベル・ツー）測定器

大学共同利用機関法人 高エネルギー加速器研究機構 計算科学センター センター長 教授 金子 敏明 氏

　KEK 計算科学センターのセンター長を務める金子敏明教授は、「2017年からいよいよビーム衝突のデータの取得を開始し、宇宙から反粒子が消えた謎に迫るための実験を重ねていきます」と、今後に向けたスケジュールを語る。

　ただ、Belle II実験から生成されるこのような膨大なデータを収集・解析するためには、必然的に従来とは桁違いのコンピューティング・パワーと大規模なリソースが要求されることになる。そこでKEKが2016年の中央計算機システムの定期リプレースに際し、競争入札を経て新たに導入したのがIBMのストレージ・ソフトウエアならびにレノボのサーバー群から構成されたHPCクラスターのインフラだ。

　こうして刷新されたKEKの中央計算機システムは、素粒子物理学の最先端においてどのような貢献を果たしていくのだろうか。

コンピューティング・パワーはいくらあっても足りない CPUコアをトータルでどれだけ確保できるか

　Belle II実験の中核を担うのは、KEKの敷地内に建設された「SuperKEKB（スーパーケックビー）」と呼ばれる周長約3km（直径約1km）の加速器である。地下10mのトンネル内に粒子（KEKでは電子と陽電子）を曲げたり収束したりする電磁石が約2,500台、粒子を加速する加速空洞が約40台設置されている。

SuperKEKB（スーパーケックビー）加速器

　これによりBelle II測定器が位置する衝突点で光速に近い速さに加速した電子と陽電子を衝突させ、素粒子の多様な反応（事象）を大量に発生させるのだ。ナノビームをはじめとする最先端技術の導入により、前身のKEKB加速器の40倍のルミノシティ（単位時間あたりに起こる反応の回数）を達成し、積分ルミノシティを約50倍に高めることを可能とする。先述の「Belle実験で蓄積されたデータの約50倍」とは、そういう意味だ。

　ちなみにBelle実験で使用したデータ量は「7.7×10の8乗個」である。ここでいう「個」とはB中間子と反B中間子を生成した数（B中間子対）を意味しており、両方を合計したデータ容量は約2ペタバイトだ。すなわちその50倍となるSuperKEKBでは、約100ペタバイトのデータの取得を目指すことになる。

　「コンピューティングのパワーは、どれだけあっても足りません」と語るのは、KEK 計算科学センターの佐々木節教授である。

　KEKでは、日本原子力研究開発機構と共同で、J-PARCという加速器を東海村に建設し、素粒子・原子核物理学、物質科学、材料工学、生命科学など幅広い分野の研究に利用されており、年間2ペタバイト程度のデータが中央計算機に送られて来る。つくばキャンパス内にある放射光施設も同様に幅広い分野の研究に利用されている。実験を支える理論研究を含め、KEKのすべての研究プロジェクトを支えるのが中央計算機なのだ。年々増える需要の増加に限られた予算で答えなくてはならない。

　「実際の実験では観測から得られたデータだけでなく、シミュレーション結果と比較しながら解析を行います。それらのソフトウエアは、浮動小数点だけではなく整数演算性能を必要としています。そこで今回新たに調達する中央計算機システムのサーバー群に関しては、『どれくらいのクロックのCPUを、トータルで何コア確保できるか』を選定の基準としました」と語る。

大学共同利用機関法人 高エネルギー加速器研究機構 計算科学センター研究機関講師 村上 晃一 氏

　加えてBelle II実験を支えるプラットフォームとして絶対に欠かすことができないのが、信頼性と可用性である。SuperKEKBやBelle II測定器を使った実験に要する一日電力は、中程度の市に相当するため、観測データを失うことがあってはならないのだ。また、中央計算機システムは、国内外で連携する大学や研究機関とグリッド技術を用いて共同利用している、広域分散処理システムの一角を担っているだけに、計画外の停止は許されない。「原則として24時間365日の稼働が義務付けられているのです」と佐々木教授は強調する。

　一方で中央計算機システムには、様々な制約もある。KEK 計算科学センターの村上 晃一氏は、このように語る。

　「仮にどんなに高性能を発揮するサーバー群を調達できたとしても、マシンルームのファシリティを改修することは困難で、“受け皿”はまったく変わらないのです。これまで旧システムを運用してきたのと同じラックスペース、同じ電源容量、同じ空調設備の環境下で、要求性能を満たしながら安定稼働を実現できるプラットフォームでなければなりませんでした」

レノボのサーバーが提案構成に採用された理由とは

　上記のような厳しい条件をクリアして競争入札を勝ち残ったのは、日本IBMが主契約者となって提案を行ったソリューションである。分散ストレージ・ソフトウエアの「IBM Spectrum Scale」ならびに「High Performance Storage System」、そして計算ノードとしてインテル® Xeon ® プロセッサー E5-2600 v4 製品ファミリーを搭載したレノボの「Lenovo NeXtScale System M5シリーズ」から構成されたシステムだ。

　なぜ計算ノードはLenovo NeXtScale System nx360 M5だったのか。

　KEKが必要としている計算ノードの基本仕様を満たすためには、インテルXeonプロセッサー（2.6GHz相当以上）をベースに、トータル10,000個以上のコアを備える必要があり、また、この大規模なシステムを1システムとして運用できることも最も重要なポイントとなっていた。そして、こうしたスケーラブルなサーバーファームを容易に実現できるのが、インテル® Xeon ® プロセッサー搭載 Lenovo NeXtScale Systemだった。

　加えてLenovo NeXtScale System M5シリーズは、KEKが従来から使用してきたIBM System x iDataPlexの後継機である点も大きかった。ハードウエア・ベンダーがIBMからレノボに変わっても、開発体制や保守体制などはこれまで通り引き継がれているため、お客様に運用サポートに対する不安感を与えずに済むからだ。

　さらに中央計算機システムの様々な制約条件に対応するためには、収納ラックの構成、トータルコスト、設置面積、消費電力、発熱量、電源の冗長化性、管理コストなど、総合的な観点から機器構成にあたる必要があった。そうした中でインテル® Xeon ® プロセッサー搭載 Lenovo NeXtScale System M5シリーズは、非常に高密度サーバーでありながら電源を複数の計算ノードで共有できるなど、省電力化にも大きく貢献する点を高く評価された。

　こうしてレノボのサーバーは、中央計算機システムの計算ノード以外にも電子メールシステムやWebシステムなどの情報基盤環境、さらにはグリッド広域分散処理システムにいたるまで、KEKの幅広いシステムに採用されることとなったのである。

　これらのシステムにはいずれも高いRASISが求められ、24時間365日の無停止運用が大前提となると同時に強固なセキュリティの確保が必須となる。KEKの仕様書にもそれらの要求項目が詳細に記載されていたが、レノボのサーバーはそのすべてをその要求を過不足なく実現していたのだ。また、IGTF準拠の電子認証局をはじめとする多くのサービスをインターネット経由で国内外の研究者に提供しているといった貢献からも、レノボのサーバーであれば高い満足を提供できると判断された。

インテル® Xeon ® プロセッサー搭載 Lenovo NeXtScale System M5シリーズ

ITのイノベーションがKEKから発信される可能性

　実際、レノボのサーバー群は狙いどおりの安定性で運用を開始した。「旧システムからの更新もスムーズに完了。既存のマシンルームの中にきちんと収まり、まったく問題を起こすことなく稼働を続けています」と金子教授も高く評価している。

　Belle II実験が本格化するまでは、解析に必要なシミュレーションや、J-PARC及び放射光施設から得られたデータの解析や、理論の研究にLenovo nx360 M5がフルに利用される。前システムの平均利用率は常時90パーセントを超えていたため、需要を十分に満足せせることはできなかった。新システムは、利用開始直後から高い利用率を示しており、Belle II実験開始に先立ち、システムのチューニングが行われている。

　「KEKにおける素粒子物理学の実験や研究は、ある意味で計算インフラに対して日本一過酷な耐久テストを繰り返し行っているようなもので、現時点では予想もつかない困難な問題に直面することになるかもしれません」と佐々木氏は先を見据えている。もっとも、これはネガティブな発想ゆえの言葉ではない。「そうした局面こそ私たちが知恵を絞るべき、腕の見せ所と考えています」と佐々木氏は語るのである。

　現在のインターネットで当たり前となったWorld Wide Webが、もともとは欧州原子核研究機構（CERN）の研究から誕生したという例もある。宇宙誕生の謎に迫るとともに、新たなITのイノベーションがKEKから発信される可能性も大いにあり得るだろう。

ユーザープロフィール

機構名：高エネルギー加速器研究機構

所在地：茨城県つくば市大穂1番地1

設立：1997年4月1日

職員数：1,066人（2016年4月1日現在）

事業内容：加速器と呼ばれる装置を使って基礎科学を推進する研究所。最先端の大型粒子加速器を用いて、宇宙の起源、物質や生命の根源を探求している。

URL：https://www.kek.jp/ja/

関連リンク

ハイパーコンバージドソリューション［Nutanix］

レノボ・ジャパンのその他の事例はこちら

ご購入前のご相談・お見積りのご依頼はこちら

レノボ・ジャパン株式会社

URL：http://www.lenovojp.com/business/product/server/

TEL：[phone]（平日9時〜17時30分）

メールアドレス：[e-mail]

Intel、インテル、Intel ロゴ、Intel Inside、Intel Inside ロゴ、Intel Atom、Intel Atom Inside、Intel Core、Core Inside、Intel vPro、vPro Inside、Celeron、Celeron Inside、Itanium、Itanium Inside、Pentium、Pentium Inside、Xeon、Xeon Phi、Xeon Inside、Ultrabook は、アメリカ合衆国および/またはその他の国における Intel Corporation の商標です.

---