RTX PRO 6000 實測 Qwen3.8 三版本：DFlash2 提速 2.8 倍
在單張 RTX PRO 6000 Blackwell 96GB 上，Qwen3.8-27B 用 DFlash2 草稿模型把 Spec-Bench 單使用者解碼從 75 tok/s 提到 210 tok/s，約 2.8 倍；NVFP4 比 BF16 快 2.2 倍。三款檢查點中 Flash-Next 預填充 22.4 秒、27B 為 97 秒，長上下文召回三者均滿分，BFCL 工具呼叫 27B 以 73.3% 領先。
原標題：I spent 3 weeks testing local Qwen3.8 on the new low-latency SGLang/vLLM recipes: DFlash2 2.8x. Builds: RadixArk + Inferact 27B NVFP4, 27B BF16, orcarouter 27B Uncensored, Flash-Next NVFP4
閱讀原文
| 評分 | 40 / 55（平均 47，門檻 76） |
|---|---|
| 狀態 | 未入選 |
相關報導
Qwen3.8-Flash-Next 177B 在單張 RTX 5070 12GB 上跑到 11–15 tok/s
有人在 Windows 上用 llama.cpp 的專家流式方案，在單張 RTX 5070 12GB 加 32GB DDR4-2400 記憶體上跑 Qwen3.8-Flash-Next 177B（UD-IQ3_XXS），基準約 11.5 tok/s，日常對話 14–15 tok/s，比原方案約 7 tok/s 提升明顯。一次長編碼提示以 10.15 tok/s 生成 4,892 個 token，產出一個可執行的單檔案貪吃蛇遊戲。
開發者發布 Ninfer 4080，16GB 顯示卡可跑 100k 上下文
開發者 roofkid 發布 Ninfer 4080，讓 RTX 4080 16GB 顯示卡以 100k 上下文執行 ISTA-DASLab-Qwen-3.8-27B-GSQ，最高預填充 2720 tok/s、生成 262 tok/s，程式碼已在 GitHub 開源並提供 Docker 映象。它採用 DFlash2 投機解碼，作者稱預填充與生成速度明顯優於 llama.cpp、vllm 等通用推理引擎，代價是 KV 量化帶來輕微精度損失。
TensorSharp 讓 176B MoE 模型跑在 16GB 視訊記憶體筆記本上
開源推理引擎 TensorSharp 在 RTX 3080 Laptop（16GB 視訊記憶體）、32GB 記憶體加 SSD 的普通筆記本上跑起了 Qwen3.8 Flash Next 176B，無需 128GB 以上記憶體工作站或多 GPU。它靠量化加 MoE 感知的統一排程，協調視訊記憶體、記憶體、SSD 與快取分層。
MegaCapybara 發布：RTX5090 上跑 Qwen3.8 27B 的推理引擎
MegaCapybara 是專為 RTX5090 打造的推理引擎，聚焦 Qwen3.8 27B，解碼速度約為此前 SOTA 引擎 Ninfer 的兩倍：單路編碼可達 500+ t/s，12 個 agent 併發、800k 上下文時可達 2000+ t/s。它自帶權重格式與後設資料，載入前會展示各量化設定相對 BF16 的 KL 與 top-1% 損失，並支援智慧 VRAM-RAM-DISC 快取、Loop Guard 與圖形介面。採用 MIT 許可，原始碼與權重建置器稍後發布。
LocalLLaMA 網友曬本地跑模型硬體方案
r/LocalLLaMA 使用者 pmarsh 發帖稱自己已接近本地推理硬體投入的中間水平，評論區隨即給出多種低成本方案：2014 至 2018 年的 2 至 4 路 DDR3 CPU 伺服器可跑 qwen 3.8 flash 超 15 tok/s；雙 7900XTX 不到 2000 美元可跑 27B Q8 超 220k 上下文；CMP 170HX 視訊記憶體超頻可達 2TB/s，單流解碼約 60 tok/s。