九章雲極發布 GLM-5.3 推測解碼方案，單併發解碼提速 3.41 倍
九章雲極為 GLM-5.3 推出推測解碼加速方案 Alaya-DFlash2，在 8×H200、TP=8 單併發下解碼速度達 288.2 tokens/s，為原生自迴歸 84.5 tokens/s 的 3.41 倍，總輸出吞吐從 78.95 提升至 236.47 tokens/s。64 併發時吞吐 608.71 tokens/s，較原生提升 44.9%；32k 上下文下草稿接受長度 5.39，高於參評的 IncoAI-DFlash2 與 RedHat-DSpark。
給出可核驗的單併發解碼速度、4 至 64 併發吞吐與 32k 長上下文接受長度對比，並開源草稿模型權重，對自部署 GLM-5.3 長文字推理服務的團隊有直接參考價值。
原標題：突破长文本推理瓶颈 九章云极Alaya-DFlash2助GLM-5.3解码提速3.41倍
閱讀原文
| 評分 | 70 / 68（平均 69，門檻 65） |
|---|---|
| 狀態 | 精選 |
相關報導
智譜 GLM-5.3-Highspeed 灰度上線，實測 490 tokens/s
智譜在 Zcode 3.15.1 中灰度上線高速模型 GLM-5.3-Highspeed，訂閱使用者隨機獲得體驗資格，有網友實測速度達 490 tokens/s。作為對比，上月亮相的 GLM-5.3-FlashX 最高 200 tokens/s，GLM-5.3-Flash 在 Z.ai API 上約 60 tokens/s。
投機解碼為何更快：算得更少是誤解，它把記憶體瓶頸換成算力
投機解碼提速並不是因為計算量更少，恰恰相反，同一序列的浮點運算總量反而上升。它快在改變了 GPU 的工作型別：逐個 token 解碼時 GPU 處於記憶體瓶頸、算力閒置，而用小草稿模型一次並行驗證多個 token，等於用閒置算力換取單條序列的深度推進。被拒絕的草稿 token 都是白做的功，高吞吐場景下反而浪費算力，因此 vLLM 提供 --speculative-disable-by-batch-size 引數按批大小整體關閉該功能；
llama.cpp SYCL 後端為 IQ3 加持久權重重排，解碼提速最高 82%
llama.cpp 的 SYCL 後端為 IQ3_S/IQ3_XXS 加入持久化權重重排，在 Intel Arc Pro B70 上解碼速度最高提升 82%。權重在載入時只重排一次，MMVQ 點積改用 dp4a 與 SWAR 符號擴充套件遍歷稠密超級塊，重排感知的反量化也接入批次 prefill 的 GEMM。
llama.cpp 合併 GLM5-Next MTP 支援，可作 draft 模型
llama.cpp 合併 PR #29928，為 GLM5-Next 加入多 token 預測（MTP）的 NextN 計算圖，使其能作為投機解碼的 draft 模型使用。改動包括支援只含 NextN 層或只含主幹張量的拆分 GGUF 檔案載入，並把 MTP 圖按輸出行裁剪，無輸出行的 4-token catch-up 核心耗時從 6.9 ms 降到 2.9 ms，貪心輸出雜湊與 draft 接受率不變。
llama.cpp SYCL 為 GLM MLA 預填充接入 MKL，pp8192 提速 2.99 倍
llama.cpp 的 SYCL 後端放行了 GLM-4.7 Flash 的 MLA 形狀走 MKL flash attention，此前該形狀因 K/V 寬度不一致、head dim 上限 512 被排程器拒絕，預填充只能回退到更慢的 TILE kernel。在 Intel Arc Pro B70 上，pp8192 從 432.80 提升到 1292.29 tok/s（2.99 倍，+198.6%），tg256 在噪聲範圍內基本不變（45.67 對 45.65）。