「液冷」の実物を見たことがありますか？ AIサーバを冷やす専門設備を取材してきた：【動画あり】
AIサーバの冷却が空冷から液冷へ移る中、見る機会の少ない専門設備をNTTファシリティーズの検証施設で取材。CDUやステンレス配管、屋上の熱機器など、発熱増に挑む冷却システムの全貌と実態を届ける。
AIサーバの冷却は空冷から液冷へ――IT部門でもよく知られた流れだ。一方で、その設備を実際に目にする機会は限られる。サーバの選定やデータセンターの契約には関わっても、冷却水を送る装置や屋上の熱源機器は、ファシリティー部門やデータセンター事業者の領分だからだ。そこで今回、NTTファシリティーズの検証施設で、アイティメディアの動画メディア「TechLIVE」編集部の小林可奈が液冷設備を取材した。
空冷の限界を風量で確かめる
取材には、メロンの代表取締役兼CTOの本田崇人氏が同行した。同社は、データセンターの電力やセンサーデータを解析し、運用の効率化や異常の予兆検知につなげる技術を開発している。
案内してくれたのは、NTTファシリティーズでデータセンター冷却の責任者を務める由佐卓也氏（データセンターエンジニアリング事業本部）だ。最初に案内されたのは、空冷サーバ向け空調機の吹き出し口の前だ。
由佐氏によれば、最新のAIサーバはラック1本で家庭用ヘアドライヤー200本分ほどの熱を出す。この空調機の風量を80％ほどに上げても、冷やせるのはその10分の1、ドライヤー20本分程度だという。
風量を上げると、会話が難しくなるほどの風が吹き出した。由佐氏によれば、空気は水より熱交換の効率が悪く、風だけでAIサーバを冷やし切るにはこの10倍の風量が必要になる。そのため、AIサーバは水で冷やすことになるという。
声がかき消されるほどの風量は、文字では伝え切れない。体験の様子はITmedia Techliveの動画で確かめてほしい。左から由佐氏、本田氏、小林。「TechLIVE by ITmedia」で公開中。
冷却水を送る装置、配管、そして熱を屋外に捨てる機器ってどんなの？
同行した本田氏も、冷却設備そのものを見るのは初めてだという。普段扱うのはラックの消費電力や温度といったデータで、その先の設備を直接見る機会はほとんどない。
液冷はサーバの中だけで完結しない。ラックの外側には、冷却水を送る装置、配管、そして熱を屋外に捨てる機器が連なっている。以下では、その順に設備をたどっていく。
CDU：サーバに冷却水を送る装置
最初の設備は、サーバに冷却水を送る「CDU」（Coolant Distribution Unit）だ。由佐氏によれば、AIサーバの発熱が大きくなるにつれ、水を送る側にもこうした大型の機械が必要になっている。
屋上の熱源機器で冷やされた水が黒い配管でCDUに届き、内部の熱交換器でサーバ側の水を冷やす。屋上とサーバで同じ水が回っているのではなく、CDUで系統が分かれている。
理由は水質にある。GPUには熱を奪う「コールドプレート」が付いており、そこには非常に細かい流路がある。詰まらせないよう、サーバ側にはごみを取り除いた水を流す。CDUにはそのためのフィルターも組み込まれていた。一方、屋上へ向かう水は一般的な空調用の水質で十分だ。
サーバ側の液体も水道水ではない。純水か、純水にプロピレングリコールを25％ほど混ぜた「PG25」が一般的で、バクテリアの繁殖や化学反応を抑える添加剤も加える。菌が増えれば、それ自体が詰まりの原因になるからだ。
ラックに入るステンレス配管
CDUからは銀色のステンレス配管が伸び、行きと戻りの2本でサーバラックにつながっている。冷却水はまずGPU上のコールドプレートを冷やす。ただ最近はチップ周辺の電子部品も、サーバ1台当たりでドライヤー10本分ほどの熱を出すため、そこまで冷やさないとサーバ全体が冷えない。
サーバを液体に丸ごと浸す「液浸冷却」について尋ねると、由佐氏は少なくとも2030年ごろまでは想定していないと答えた。液冷でチップ周辺まで冷やせるようになったうえ、液浸に移れば設計も運用もエコシステムも一変してしまうからだ。NVIDIAも今後数年は液浸に頼らず冷やせるサーバを計画しているという。
屋上：熱の最終的な行き先
サーバで温まった水はCDUに戻り、その熱は屋上の機器から屋外に捨てられる。屋上には大型の機器が2台並んでいた。
1台は空冷チラーで、電気で圧縮機を動かし、冷媒を使って冷水を作る。20〜30度程度の水を作るのが得意で、冷却能力は1台でルームエアコン200台分ほどに相当する。
もう1台のハイブリッドドライクーラーは、温水が流れる配管に水をまいて気化熱で冷やす。30〜40度程度の水を作るのが得意だ。
今の日本でAIサーバ向けに主に使われるのは後者だという。省エネのため、冷却水の温度は今後上がっていく見込みだという。40度で運用する場合、空冷チラーはそもそも対応できないが、ハイブリッドドライクーラーは30度で運用する場合と比べて冷却能力がおよそ3倍になり、能力当たりの設置面積は3分の1程度で済む。
ただしこの方式は水を使う。サーバ側の循環はほとんど水を足さなくてよいが、屋外に熱を捨てる側は方式次第だ。従来の日本のデータセンターは水をほとんど使わず、主に電気で冷やしてきたが、AI向けでは水の使用量が大きく増える可能性があるという。
「知っている」を「見たことがある」に
空調機の吹き出し口から屋上の熱源機器まで、AIサーバのラックの背後には、CDU、配管、冷却液、熱源機器といった複数の設備と、その運用が連なっている。GPU基盤の調達やデータセンターの選定で示されるラック当たりの電力や冷却方式といった仕様は、こうした設備によって支えられている。
本記事で紹介した設備は、TechLIVE by ITmediaの動画でより詳しく見られる。CDUの内部や配管の取り回し、屋上機器の動きまで、普段は目にする機会のない設備を映像で確かめてほしい。
Copyright © ITmedia, Inc. All Rights Reserved.
本記事は制作段階でChatGPT等の生成系AIサービスを利用していますが、文責は編集部に帰属します。
