100万円のPCが注目ランキング1位に? ローカルLLMブームを生んだ「3つの条件」
メインメモリとGPUのVRAMを合わせてLLMのウェイトを展開する方法もあるが、VRAMのみに展開する方法に比べて推論速度が落ちる。写真はGPUに加えて48GBのメインメモリを4枚搭載した筆者のLLM推論マシン
Copyright © ITmedia, Inc. All Rights Reserved.
SpecialPR
Copyright © ITmedia, Inc. All Rights Reserved.
SpecialPR