Qwen3.8-27B 在 iPhone 18 神經引擎上跑出 70 tok/s 峰值
Qwen3.8-27B 已在 iPhone 18 的 Apple Neural Engine 上執行，解碼速度 15–60 tok/s；作者隨後確認 24K 上下文下 K/V 用 int8、delta net 保持 FP16，峰值可達 70 tok/s。模型基座是 PrismML 的 Bonsai-2，從 1.585 bpw 重新量化為 1.5 bpw（每 4 個權重 6 位向量量化），並加入約 2.8 bpw 的 dflash-2 草稿模型加速，代價是接受率小幅下降。
官方實測確認 24K 上下文可端側執行，1.5 bpw 量化把 27B 模型壓進手機，70 tok/s 峰值給出消費級硬體本地推理的具體效能參考。
原標題：Qwen3.8-27B on the iPhone 18 Neural Engine at 15–70 tok/s (1.5 bpw)
閱讀原文
| 評分 | 80 / 72（平均 76，門檻 76） |
|---|---|
| 狀態 | 精選 |
相關報導
Qwen3.8-Flash-Next 單使用者輸出達 685 tokens/s
阿里通義千問官方帳號轉發並祝賀 LightSeek 的 TokenSpeed 推理成績：Qwen3.8-Flash-Next 在輝達 GPU 上實現單使用者 685 output tokens/s。官方稱該結果令人印象深刻，並表示期待社群繼續釋放 Qwen 的推理潛力。這一數字指向 Qwen3.8-Flash-Next 在推理側的吞吐表現。
Qwen3.8-Flash-Next 177B 在單張 RTX 5070 上跑出 11-15 tok/s
有人在 Windows 上用 llama.cpp 的專家流式方案，在單張 RTX 5070 12GB 加 32GB DDR4-2400 記憶體上執行 Qwen3.8-Flash-Next 177B（UD-IQ3_XXS），基準約 11.5 tok/s，日常對話可達 14-15 tok/s。一次長程式設計提示以 10.15 tok/s 生成 4,892 個 token，產出一個可執行的單檔案貪吃蛇遊戲。
Qwen3.8 27B 在 DGX Spark 復現文字加法實驗，169 題答對 167
有人在本地 DGX Spark 上覆現了兩年前用 GPT-4o 做過的實驗：讓模型算出大數之和、但把答案寫成英文單詞。他用 Qwen3.8-27B-Q4_K_M.gguf，經 Codex Remote（GPT-6 Astra）執行，關閉推理時每組組合跑 30 次嘗試，開啟推理後每組只跑一次，169 次裡答對 167 次。作者也公開了部分大數計算的推理過程。
實測 Qwen3.8 三版本：DFlash2 加速 2.8 倍
有人在單張 RTX PRO 6000 上對三個 Qwen3.8 檢查點做了 10 項測試：RadixArk 27B NVFP4、orcarouter 27B Uncensored NVFP4 和 Flash-Next NVFP4。27B 配 DFlash2 草稿模型後 Spec-Bench 從 75 提到 210 tok/s，約 2.8 倍；SGLang 整體快於 vLLM，但同一匯出上 vLLM 快 16%。
LocalLLaMA 網友曬本地跑模型硬體方案
Reddit 的 r/LocalLLaMA 版塊一則帖子下，使用者討論用低成本硬體本地跑大模型。有人稱 2014 至 2018 年的 2 至 4 路 DDR3 CPU 伺服器最省錢，可讓 Qwen 3.8 Flash 跑到 15 tok/s 以上；也有人表示雙 7900XTX 不到 2000 美元即可支援 27B Q8 模型超過 220k 上下文。