AISpot

搜尋

找到 2 筆;也可以試試 語意搜尋

機器之心● 精選AI 評分78

小紅書開源 DoSA,1M 上下文首 token 延遲最多降 48%

小紅書 Dots 團隊開源稀疏注意力加速方案 DoSA,在保持原始 Top-K 選擇結果完全等價的前提下加速索引器,約 1M token 上下文下 Dots3-Note-preview、GLM-5.2、DeepSeek-V3.2 的首 token 延遲較各自 SGLang 基線分別降低約 37%、46% 和 48%。其做法是用分數上界與入選門檻下界,提前排除約 97% 不可能入選的候選,只對剩餘候選做全部索引頭的精確打分。

量子位AI 評分53

是石科技發布 TokenFleet 排程框架,首 Token 延遲降 32.4%

是石科技在 2026 CCF 全國高效能運算學術大會期間發布 TokenFleet 分散式排程框架,其中 TokenPilot 在 GLM5.3 調優測試中把 P95 首 Token 延遲降低 32.4%、P50 降低 71.3%。框架還包含面向跨機房容量協同的 FleetMind 和負責混合負載准入與佇列治理的 SLOMax,最佳化目標是滿足服務要求的達標輸出吞吐;另一組測算顯示達標吞吐提高約 29.4%、達標比例從約 67% 升至約 86%,官方註明屬收益測算範例。