Llmspeed 上線：按硬體和模型查本地大模型推理速度
Llmspeed 是一個可按硬體或模型查詢本地大模型推理速度的網站，用於在購買硬體前預估實際體驗。它覆蓋 RTX 5090、RTX 3090、Mac Studio M5 Ultra 512GB、DGX Spark、Strix Halo 與純 CPU 等三十餘種配置，以及 Qwen 3.6/3.8 27B、GPT-OSS 120B、DeepSeek V4 Flash、GLM-5.3 Flash 等模型，給出短提示、單裝置下的速度估計。
把三十餘種硬體與二十多個開源模型的本地推理速度集中在一處，並標明哪些是社群實測、哪些是推算，對按預算挑選本地推理裝置的人最有用。
原標題：Show HN: Llmspeed – feel how fast a local LLM runs before you buy the hardware
閱讀原文
| 評分 | 68 / 68（平均 68，門檻 76） |
|---|---|
| 狀態 | 未入選 |
相關報導
LocalLLaMA 網友曬本地跑模型硬體方案
Reddit 的 r/LocalLLaMA 版塊一則帖子下，使用者討論用低成本硬體本地跑大模型。有人稱 2014 至 2018 年的 2 至 4 路 DDR3 CPU 伺服器最省錢，可讓 Qwen 3.8 Flash 跑到 15 tok/s 以上；也有人表示雙 7900XTX 不到 2000 美元即可支援 27B Q8 模型超過 220k 上下文。
越獄 PS5 用 GPU 跑 llama.cpp，變成區域網模型伺服器
PS5LM 把 llama.cpp 的 Vulkan 後端搬到越獄 PS5 的 RDNA 2 GPU 上，用 11.4 GB 共享記憶體把主機變成家用模型伺服器，對外提供 OpenAI 與 Anthropic 介面，Claude Code 等客戶端可直接連。實測 Qwen 3.5 9B Q4_K_M 約 55 tokens/秒，27B 的 UD-Q2_K_XL 約 20 tokens/秒、64k 上下文；
llama.cpp v0.6.0 支援 DFlash，Qwen3.8-27B 推理提速
llama.cpp 作者 Georgi Gerganov 建議使用 Qwen3.8-27B + MTP 的使用者升級到 DFlash，以獲得額外速度提升。啟用方式是在最新 llama.cpp v0.6.0 上執行 llama serve -hf ggml-org/Qwen3.8-27B-GGUF，並加上 --spec-type draft-dflash 與 --spec-draft-n-max 7 兩個引數。該提示未給出具體提速幅度，只強調必須使用最新版本。
llama.cpp SYCL 後端為 IQ3 加持久權重重排，解碼提速最高 82%
llama.cpp 的 SYCL 後端為 IQ3_S/IQ3_XXS 加入持久化權重重排，在 Intel Arc Pro B70 上解碼速度最高提升 82%。權重在載入時只重排一次，MMVQ 點積改用 dp4a 與 SWAR 符號擴充套件遍歷稠密超級塊，重排感知的反量化也接入批次 prefill 的 GEMM。
Ollama 上線 LFM2.5 24B，一條命令本地執行
Ollama 模型庫新增 LFM2.5 24B，使用者可用一條命令 ollama run lfm2.5:24b 拉取並在本地執行。該模型引數規模為 24B，官方同時給出了對應的模型庫頁面連結，公告中未披露更多細節。