搜尋

找到 2 筆；也可以試試語意搜尋

r/LocalLLaMA top of the day10/3 02:58AI 評分32

LocalLLaMA 網友曬本地跑模型硬體方案

r/LocalLLaMA 使用者 pmarsh 發帖稱自己已接近本地推理硬體投入的中間水平，評論區隨即給出多種低成本方案：2014 至 2018 年的 2 至 4 路 DDR3 CPU 伺服器可跑 qwen 3.8 flash 超 15 tok/s；雙 7900XTX 不到 2000 美元可跑 27B Q8 超 220k 上下文；CMP 170HX 視訊記憶體超頻可達 2TB/s，單流解碼約 60 tok/s。

地端推論本地推理硬體配置 GPU 量化

閱讀原文

r/LocalLLaMA top of the day10/3 04:12AI 評分61

Strata 搭配 Qwen3.8 Next 讓慢記憶體跑出 45-70t/s

有使用者用 Strata 加 Qwen3.8 Next 的 IQ3_XXS 權重（接近 80GB），在 DDR4 加 7900XTX 的慢速記憶體機器上穩定跑到 45-70t/s，編碼時偶爾更高；同樣配置下調優後的 llama.cpp 最高只有約 22.5t/s。12GB 和 16GB 顯示卡使用者反饋結果相近，DDR5 使用者則明顯更快。作者建議讓 LLM 按自己的硬體配置來設定，並提醒不要用 Q2 權重。

地端推論開源本地推理量化 DDR4 7900XTX Qwen

閱讀原文