gufo 分支讓 Qwen3.6 35B A3B 在 Strix Halo 上跑出 3095tok/s 預填充
開發者 nubela 發布了 gufo 的分支 gufo-Qwen3.6-35B-A3B-Q6dense，在 Strix Halo 上實現 3095 tok/s 預填充和 190 tok/s 解碼，目標是 3000 tok/s 預填充與 150 tok/s 解碼。該分支為追求速度而非智慧的負載設計，作者自行量化了模型並以 Apache 2.0 許可發布，使用 unsloth 的 GGUF 也可執行但效能較低。
如果你在本地跑開源模型時更看重預填充和解碼速度而非模型智慧，這個分支提供了 Strix Halo 上的具體效能數字和可復現的量化方案，可作為選型參考。
原標題：gufo-Qwen3.6-35B-A3B-Q6dense - 3095tok/s prefill; 190 tok/s decode on Strix Halo
閱讀原文
| 評分 | 78 / 68（平均 73，門檻 76） |
|---|---|
| 狀態 | 未入選 |
相關報導
Kyojin 引擎讓兩臺 300B MoE 模型各跑在單臺 128GB Strix Halo 上
基於 ExLlamaV3 的 Kyojin 引擎在 AMD Strix Halo（gfx1151、ROCm）上讓兩個 300B 級 MoE 模型各裝進一臺 128GB 迷你主機：GLM-5.3-Flash 佔 99.7GB，3.5K 上下文預填充 580 tok/s，解碼 26 到 30 tok/s；MiMo-V2.6-Flash 佔 105GB，解碼最高 44 tok/s（程式碼場景）。
Qwen3.8-Flash-Next 177B 在單張 RTX 5070 12GB 上跑到 11–15 tok/s
有人在 Windows 上用 llama.cpp 的專家流式方案，在單張 RTX 5070 12GB 加 32GB DDR4-2400 記憶體上跑 Qwen3.8-Flash-Next 177B（UD-IQ3_XXS），基準約 11.5 tok/s，日常對話 14–15 tok/s，比原方案約 7 tok/s 提升明顯。一次長編碼提示以 10.15 tok/s 生成 4,892 個 token，產出一個可執行的單檔案貪吃蛇遊戲。
Strata 搭配 Qwen3.8 Next 讓慢記憶體跑出 45-70t/s
有使用者用 Strata 加 Qwen3.8 Next 的 IQ3_XXS 權重（接近 80GB），在 DDR4 加 7900XTX 的慢速記憶體機器上穩定跑到 45-70t/s，編碼時偶爾更高；同樣配置下調優後的 llama.cpp 最高只有約 22.5t/s。12GB 和 16GB 顯示卡使用者反饋結果相近，DDR5 使用者則明顯更快。作者建議讓 LLM 按自己的硬體配置來設定，並提醒不要用 Q2 權重。
RTX PRO 6000 實測 Qwen3.8 三版本：DFlash2 提速 2.8 倍
在單張 RTX PRO 6000 Blackwell 96GB 上，Qwen3.8-27B 用 DFlash2 草稿模型把 Spec-Bench 單使用者解碼從 75 tok/s 提到 210 tok/s，約 2.8 倍；NVFP4 比 BF16 快 2.2 倍。三款檢查點中 Flash-Next 預填充 22.4 秒、27B 為 97 秒，長上下文召回三者均滿分，BFCL 工具呼叫 27B 以 73.3% 領先。
OpenAI 上線 GPT-6 Astra Ultrafast，跑在 NVIDIA Blackwell 上
GPT-6 Astra Ultrafast 已上線，執行在 NVIDIA Blackwell GPU 上，面向 OpenAI 內部以及符合條件的 ChatGPT Work 和 Codex 使用者開放，token 生成速度最高可達 Astra Standard 模式的 8 倍。開發者今天就能通過 API 呼叫，接入方式、定價與實現細節見官方 Ultrafast 指南。更快的生成可縮短 coding agent 的編輯—測試—除錯迴圈，減少工具呼叫之間的等待時間。