2台のMac StudioをThunderbolt 5で連結！　計128GBメモリ環境と分散推論「exo」でLLMを爆速化してみた（2/4 ページ）

exoの導入手順

　さて、前置きはこれくらいにして、実際にMac Studioを2台を使ってexoクラスタを構成してみよう。macOS環境でのexoの導入手順は非常に簡単だ。

　まず、GitHubの公式リリースページにアクセスし、.dmgファイルをダウンロードしてインストールする（執筆段階のバージョンはEXO-1.0.69.dmg）。

　インストール後、アプリケーションフォルダーからexoを起動すると、「EXO Network Configuration」画面が表示されるので、「Install」をクリックして進める。

　続いて「Add devices to run larger models」という画面が表示される。既にThunderbolt 5ケーブルでMac Studio同士を接続し、片方のセットアップが完了していれば、「Your EXO network」にクラスタ構成が表示されるので、「Continue」をクリックしよう。

　なお、Thunderbolt 5ケーブルでノード間を接続し、かつRDMAを利用する場合はRJ-45ポートの左隣のThunderbolt 5ポートはexoでRDMAを利用できないため、それ以外のポートに接続するようにしてほしい。

　モデルのダウンロードが終わると、exoのメイン画面が表示される。今回のテスト環境では、最初にセットアップしたMac Studioで事前に「gpt-oss-20b」インスタンスを作成していたため、「INSTANCES」の一覧にその状態が表示されている。

　驚くことにexoのクラスタ構成は、それぞれのノードにexoをインストールして、Thunderbolt 5ケーブルを接続するだけ、と高度な処理を実現するにもかかわらず、その手順は非常に簡単だ。

　新たにインスタンスを作成する場合は、「LOAD MODEL」から読み込みたいモデルを選択する。デフォルト設定では、モデルの読み込みに必要なメモリ数に応じて、インスタンスの構成案が自動的に表示されるため、あとは「LAUNCH」をクリックすればOKだ。