100万円のPCが注目ランキング1位に? ローカルLLMブームを生んだ「3つの条件」

メインメモリとGPUのVRAMを合わせてLLMのウェイトを展開する方法もあるが、VRAMのみに展開する方法に比べて推論速度が落ちる。写真はGPUに加えて48GBのメインメモリを4枚搭載した筆者のLLM推論マシン

記事に戻る