“地球シミュレータ”JAMSTECの新「四次元仮想地球」に見るHPCの進化形 多様なニーズとセキュリティをどう両立？

[PR／ITmedia]

PR

　計算機の力で地球をシミュレーションする――科学技術の粋を詰め込んだスーパーコンピュータ「地球シミュレータ」の運用が始まったのは2002年のこと。国家プロジェクトとして完成した地球シミュレータはその後、スパコンの世界ランキング「TOP500」で1位を5期連続で獲得して世界一の称号を手に入れることになる。

　名実共に国内トップクラスのスパコンとして科学研究を支えてきた地球シミュレータは、海洋研究開発機構（JAMSTEC）の下で第4世代目が稼働中だ。そして24年4月1日に、同機構の新たなシステムが船出した。

　キーワードは「四次元仮想地球」。観測データや地球シミュレータが出力した大規模なデータから新たな価値を見つけるための、先端システムだ。

　JAMSTECは四次元仮想地球で何を目指すのか、そのためにどんな計算機が必要なのか。取材すると、HPCに対する研究者たちの新たなニーズとそれに応えようとする技術者のこだわりが明らかになった。

地球シミュレータの第4世代

観測船もスパコンも運用　JAMSTECが“世界屈指の研究機関”たる理由

　JAMSTECは、海洋をはじめとする地球科学分野をリードする研究機関だ。研究対象は深海から極地、地球温暖化や気象などの地球表層、地震や火山などの地球内部まで多岐にわたる。同機構のミッションは、海の研究を通じて自然現象を理解して社会に貢献することだ。

JAMSTECの上原均氏（地球情報科学技術センター 計算機システム技術運用グループ　グループリーダー 博士（工学））

　海洋研究組織は世界各地にあるが、観測船による現地調査とスパコンによるシミュレーションを1つの機関で両立しているのは珍しい。「観測は現実を見るもので、スパコンは理論を追い求めるものです。それらを1つの組織で究められるのがJAMSTECの魅力であり、強みです」とJAMSTECの上原均氏は胸を張る。

　JAMSTECの強みの一翼を担うのが地球シミュレータだ。地球科学の分野での研究だけでなく、ナノテクノロジーや流体力学、構造力学などの分野でも活躍している。特に台風や治水など自然災害の研究で果たす役割が大きい。地震が起きたときには、地球シミュレータを使う研究者が震源地付近で観測作業をすることもあるなど観測と理論が地続きになっている。

「相当ぜいたくなシステム」　地球シミュレータ最新世代のすごさ

　歴代地球シミュレータの計算処理を支えるのが、NECが開発したベクトル型スパコン「SXシリーズ」だ。並列処理が得意で大規模なデータを読み込むシミュレーションに適している。第3世代までは、SXシリーズを複数台並べることで高い性能を実現する設計を採用していた。

　しかし、研究者のニーズは変化していく。第4世代の導入に当たって求められたのが、米Intelのプロセッサとの互換性だ。研究者が使うソフトウェアにはIntelのプロセッサで動作するものも多く、国際的な共同研究が増える中でIntel製品との互換性の重要度が増した。もちろん高性能なベクトルプロセッサを捨てることもできない。

　さらに、研究者からは「地球シミュレータでAI処理をしたい」という声も上がった。目指したHPCの完成形は、大量のデータをベクトルプロセッサで処理して、その結果をIntel互換CPUで解析し、米NVIDIAのGPUでAI処理を担うというシステムだ。

　「独立したシステムを別々に導入する方法もありましたが、それでは面白くありません。全て1つに入れることにしました。完成後に、さまざまなシステムが混在する環境をドイツの研究機関が視察しに来たほど特異なシステムです」（上原氏）

JAMSTECの大倉悟氏（付加価値情報創世部門 地球情報科学技術センター 計算機システム技術運用グループ グループリーダー代理）

　“全部入りHPC”を作るには、大容量のデータを処理するメモリ空間や計算速度を落とさないネットワーク、ストレージなど、高性能なパーツを適切に組み合わせる必要がある。地球シミュレータの設計に携わったJAMSTECの大倉悟氏は次のように振り返る。

　「地球シミュレータは、第2世代から第3世代にかけて計算能力が約10倍になりました。第4世代ではAIなどの用途に応えるべく、ストレージを前世代の約13倍に増やしています。それでも足りないと言われることもあるくらいです」

　仕様書を書きながら「相当ぜいたくなシステムだな」と思ったと上原氏は笑う。全部入りのぜいたくなシステム、言い換えれば複雑なシステムを形にしたのがNECだ。同社は地球シミュレータの初代から構築と運用を担っている。

NECの平陽介氏（文教・科学ソリューション統括部 シニアプロフェッショナル）

　「ベクトル型やGPU、スカラ型（CPU）を合わせた上で、数年間安定稼働するシステムとして完成できる技術がNECの価値であり、その誇りを胸に取り組みました。スパコンをただ並べるのではなく、有機的に結合させて高い性能が出るようにデータの伝送経路を設計したり、利用者も管理者も使いやすいようにソフトウェア環境を整備したりしたことが頑張りどころでした」――こう語るのは、長年JAMSTECを担当するNECの平陽介氏だ。

　大きなトラブルもなく追風に帆を上げて、第4世代の地球シミュレータは予定通り21年3月に稼働を始めた。

進行中の一大プロジェクト　「四次元仮想地球」はスパコンと何が違うのか

　実は、地球シミュレータの刷新はJAMSTECの一大プロジェクトの一部に当たる。それが「付加価値情報創生システム」の構築だ。地球科学データからさらなる価値を見つけて公開し、研究を社会に役立てることを目的に、25年度の完成を目指している。

　付加価値情報創生システムは「数値解析リポジトリ」「四次元仮想地球」の2軸から成る。前者はシミュレーションやAIによるデータ処理を担い、地球シミュレータが実行基盤になる。後者は数値解析リポジトリのデータや観測データを解析して外部に公開する大規模データシステムだ。

　開発の背景には、スパコンを取り巻く研究スタイルの変化がある。地球シミュレータがはじき出す膨大な演算データを解析して、データの海に隠れた価値を見つけたいという研究者が増えているのだ。しかし、地球シミュレータが出力するのは“生のデータ”なので誰もが扱えるものではない。

　そこで、四次元仮想地球というシステムでシミュレーション結果の解析や、演算データに時間軸を加えた4次元のデータセットの構築、使いやすいユーザーインタフェースの提供を通して研究を後押しする。同時に、データや成果の外部公開用システムとしても活用することで研究成果を社会に還元する狙いだ。

　四次元仮想地球の実行基盤が「Earth Analyzerシステム」（EAシステム）で、24年4月に運用がスタートした。

　「EAシステムはスパコンではなく、データ解析に適したシステムとして生み出したものです。スパコンは演算性能が最重要視されますが、EAシステムはデータをどれだけ効果的に扱えるかが重要です」（上原氏）

　これまでのデータ解析は、研究者がそれぞれ独自に用意したコンピューティング環境で行われていた。地球シミュレータと各自の解析環境をつなげようにも、ソフトウェアなどをスパコン用に移植するのは手間がかかる。地球シミュレータと直接つながったデータ解析特化型のEAシステムをJAMSTECが提供することで研究を加速できると踏んだ。

Earth Analyzerシステム

HPCに仮想化技術を採用　先進的な試みの狙い

　EAシステムを作るに当たり、「研究者の多様なニーズに寄り添う方法として白羽の矢を立てたのが仮想化技術だ。仮想マシンを研究者に渡して必要な環境を作ってもらうことを想定しており、研究室に居ながらEAシステムの高性能な計算能力を使えるようになる。

ヴイエムウェア（Broadcom）の京藤はるな氏（公共営業本部 中央官庁営業部 アカウントディレクター）

　HPCに仮想化を取り入れるという先進的なシステムを実現したのがVMware by Broadcomのソリューションだ。ヴイエムウェアから見ても「珍しい取り組みだった」と同社の京藤はるな氏は話す。

　「VMwareは多様なニーズに対応できるのが強みです。すでに研究室の環境に仮想マシンがあれば、EAシステム用に一から構築しなくても『VMware vMotion』を使って停止させずに移行できます。また外部接続や管理用のさまざまなネットワークをソフトウェアで整理できるようにしました」（京藤氏）

　外部環境との連携やデータの公開を想定して情報セキュリティ面も重視した。ネットワークの仮想化ソリューション「VMware NSX」の「分散ファイアウォール」により、仮想マシン単位でセキュリティを強化するマイクロセグメンテーションが可能だ。また通信規格についても、スパコンで広く使われている「InfiniBand」ではなく、細やかな通信制御が可能な「Ethernet」を採用した。

　EAシステムに求める性能を実現するために、ハードウェアもこだわった。デル・テクノロジーズのサーバ「Dell PowerEdge」とストレージ「Dell PowerStore」を使っている。構築を担ったNECの平氏は「ベストなものを届ける」という使命の下、幅広い最新ハードウェアのサポートやVMware製品との親和性、リードタイムが短いことなどを考慮して選定したと説明する。「コロナ禍の際にサーバを調達するのに数カ月かかった経験があり、今回はDell Technologiesの調達力も大いに評価しました」（平氏）

　「四次元仮想地球の基盤をどう作るか、JAMSTEC内で2年弱も議論しました。スパコンは何よりも計算速度が求められますが、EAシステムは使い勝手やセキュリティも考えなければなりません。相当練り上げて作ったシステムです」（大倉氏）

EAシステムに搭載されているDell PowerStore

“究極のオーダーメードコンピュータ”が動き始めた

　JAMSTECに地球シミュレータとEAシステムという“究極のオーダーメードコンピュータ”がそろった。両者を実現したNECへの信頼も厚い。地球シミュレータの運用者と利用者どちらの顔も持つ上原氏は次のように評価する。

　「NECには誠実に面倒を見てもらっています。対応の丁寧さはもちろん、技術力にも優れているのがNECの強みでしょう。第2世代以降の地球シミュレータは一般競争入札で調達しており、JAMSTECは入札において技術審査に重きを置いています。そこでNECが勝ち残っているのがその証しです」

　NECにとっても成長する機会だったと平氏は話す。第4世代地球シミュレータでベクトル型とスカラ型が混在する環境を構築したりEAシステムで仮想化を取り入れたりと、今後に生かせる経験を積めた。同社はSXシリーズとスカラ型のLXシリーズの提供と合わせて、システムインテグレーションを含むトータルサポートを強みにしている。JAMSTECのプロジェクトで得た知見を、HPCの進化につなげていく。

　EAシステムは既に本格稼働が始まっている。それに合わせて「研究者の皆さんにぜひ活用していただきたい」と上原氏は呼び掛ける。もしかしたら、明日にでも新たな発見があるかもしれない。