是石科技發布 TokenFleet 排程框架，首 Token 延遲降 32.4%
是石科技在 2026 CCF 全國高效能運算學術大會期間發布 TokenFleet 分散式排程框架，其中 TokenPilot 在 GLM5.3 調優測試中把 P95 首 Token 延遲降低 32.4%、P50 降低 71.3%。框架還包含面向跨機房容量協同的 FleetMind 和負責混合負載准入與佇列治理的 SLOMax，最佳化目標是滿足服務要求的達標輸出吞吐；另一組測算顯示達標吞吐提高約 29.4%、達標比例從約 67% 升至約 86%，官方註明屬收益測算範例。
官方給出可量化結果：P95 首 Token 延遲降 32.4%、達標輸出吞吐提升約 29.4%，並區分實測與測算；對運營多租戶 GPU 推理叢集的平台與運維團隊有參考價值。
原標題：首Token延迟降低32.4%！是石科技集群调度大招，国产推理再提效
閱讀原文
| 評分 | 58 / 48（平均 53，門檻 65） |
|---|---|
| 狀態 | 未入選 |
相關報導
商湯大裝置日均服務 6 萬億 Token，異構推理吞吐提升 5 倍
商湯大裝置日均 Token 服務量已達 6 萬億，並預計第四季度升至日均 10 萬億。其在臨港 AIDC 建成萬卡級異構推理叢集，用 PD 分離把 Prefill 交給國產算力、Decode 交給高頻寬 GPU，並支援節點角色動態切換，在相同高階旗艦卡數量下整體 Token 吞吐提升至 5 倍。此外還在探索跨域 PD 分離與 Attention/FFN 分離，後者有望讓單卡吞吐提升 150%–200%、運營成本降低 30%–40%。
Anthropic 文章設想 AI 每秒輸出百萬 token
Anthropic 發布一篇思想實驗文章，探討「每秒 100 萬 token」的四種含義：上下文容量、輸入處理速度、聚合吞吐量和單智慧體輸出速度，並強調這不是對任何現有模型的實測。文中以 Claude Opus 5.5 為例，其上下文視窗為 100 萬 token，但單次請求輸出上限遠小於此。文章用互動計算器演示：若單智慧體達到每秒 100 萬 token，1000 個故事結局約 1 秒寫完，但加入 60 秒固定檢查後，端到端加速從 10000 倍降至 132.57 倍。
港科大與華為提出 BalanceRoute，96 卡解碼吞吐提升約 15%
香港科技大學周子傑團隊與華為 2012 實驗室理論部提出 BalanceRoute，用線上路由緩解 MoE 大模型 PD 分離部署中各解碼組「齊步走」帶來的同步等待。在 96 張昇騰 910C、DeepSeek-V3 671B（W8A8）、8 個解碼單元的主實驗中，採用實際預測器的 BR-H 相比最強基線解碼吞吐提升約 15%，輸出 token 間隔的尾部延遲同時下降，單輪排程耗時中位數 1.20 毫秒、99% 分位 2.77 毫秒。
小紅書開源 DoSA，1M 上下文首 token 延遲最多降 48%
小紅書 Dots 團隊開源稀疏注意力加速方案 DoSA，在保持原始 Top-K 選擇結果完全等價的前提下加速索引器，約 1M token 上下文下 Dots3-Note-preview、GLM-5.2、DeepSeek-V3.2 的首 token 延遲較各自 SGLang 基線分別降低約 37%、46% 和 48%。其做法是用分數上界與入選門檻下界，提前排除約 97% 不可能入選的候選，只對剩餘候選做全部索引頭的精確打分。
智譜 GLM-5.3-Highspeed 灰度上線，實測 490 tokens/s
智譜在 Zcode 3.15.1 中灰度上線高速模型 GLM-5.3-Highspeed，訂閱使用者隨機獲得體驗資格，有網友實測速度達 490 tokens/s。作為對比，上月亮相的 GLM-5.3-FlashX 最高 200 tokens/s，GLM-5.3-Flash 在 Z.ai API 上約 60 tokens/s。