2台のMac StudioをThunderbolt 5で連結！ 計128GBメモリ環境と分散推論「exo」でLLMを爆速化してみた（3/4 ページ）

複数デバイスを束ねてLLMを動かす「exo」を用い、Mac Studio 2台によるクラスタを構築。macOS Tahoeで解禁されたRDMAとTensor並列を組み合わせ、120B級モデルの生成速度を1.36倍に向上させた検証結果と導入手順を紹介する。

[Yukito KATO，ITmedia]

RDMAの有効化手順

　さてexoの導入は完了したが、これだけではRDMAは利用できない。RDMAはまだ実験的な機能の扱いで、システム設定からは有効化できず、一度復旧モードで立ち上げる必要がある。

　まずはMac Studioを一度シャットダウンし、電源ボタンを長押しして「オプション」アイコンからスタートアップオプション画面を開こう。

スタートアップオプション画面を開くため、一度シャットダウンした後電源ボタンを長押ししよう

　続いて、macOS復旧画面が表示されるので、FileVault 2でディスク暗号化を実施している場合は、普段利用しているアカウントを選択してログインする。

FileVault 2でディスク暗号化を実施している場合は、普段利用しているアカウントを選択してログインしよう

　復旧画面が表示されたら、上部のメニューバーから「ユーティリティ」→「ターミナル」の順にクリックし、ターミナルを起動する。

復旧画面が表示されたら、ターミナルを起動しよう

　ターミナルが表示されたら「rdma_ctl enable」コマンドを実行しよう。

復旧画面が表示されたら、ターミナルを起動しよう

　無事に成功すると「RDMA Enabled」と表示されるので、復旧画面から再起動してmacOSを立ち上げる。これでRDMAの有効化は完了だ。これを全ノードで実施しよう。