小紅書開源 DoSA，1M 上下文首 token 延遲最多降 48%
小紅書 Dots 團隊開源稀疏注意力加速方案 DoSA，在保持原始 Top-K 選擇結果完全等價的前提下加速索引器，約 1M token 上下文下 Dots3-Note-preview、GLM-5.2、DeepSeek-V3.2 的首 token 延遲較各自 SGLang 基線分別降低約 37%、46% 和 48%。其做法是用分數上界與入選門檻下界，提前排除約 97% 不可能入選的候選，只對剩餘候選做全部索引頭的精確打分。
它給出與原始 Top-K 嚴格等價的無損索引器加速方案並開放實現，實測 97% 候選過濾率與近半首 token 延遲降幅，對自建長上下文推理服務、使用 SGLang 部署的團隊最直接有用。
原標題：提速不降智，小红书DoSA将首token延迟减半
閱讀原文
| 評分 | 78 / 78（平均 78，門檻 65） |
|---|---|
| 狀態 | 精選 |
相關報導
@OpenAIDevs: Your dot learns how you work, keeps context across apps, coordinates Codex tasks, and flags what ne…
OpenAI 開發者帳號發布預告，介紹一款名為 dot 的產品：它會學習使用者的工作方式，跨應用保留上下文，協調 Codex 任務，並標記需要使用者關注的事項。該訊息未披露發布時間、價格、支援平台或具體功能細節。
DeepSeek V4.1 Flash 開源發布：智慧指數 45、1M 上下文
DeepSeek 發布開源權重模型 V4.1 Flash 1017 (Max)，採用 MIT 許可，權重已上傳 Hugging Face，支援文字與影像輸入。在 Artificial Analysis 智慧指數上它得分 45，遠高於同類開源模型中位數 19；總引數 552B、每 token 啟用 16B，上下文視窗 1M token，輸出速度約 230 token/秒。
Anthropic 文章設想 AI 每秒輸出百萬 token
Anthropic 發布一篇思想實驗文章，探討「每秒 100 萬 token」的四種含義：上下文容量、輸入處理速度、聚合吞吐量和單智慧體輸出速度，並強調這不是對任何現有模型的實測。文中以 Claude Opus 5.5 為例，其上下文視窗為 100 萬 token，但單次請求輸出上限遠小於此。文章用互動計算器演示：若單智慧體達到每秒 100 萬 token，1000 個故事結局約 1 秒寫完，但加入 60 秒固定檢查後，端到端加速從 10000 倍降至 132.57 倍。
DeepSeek Harness 民間外掛 ds-bot 發布，支援多 Bot 團隊與長期記憶
開發者 FeiZ 發布基於 DeepSeek Harness 的民間外掛 ds-bot，可把多個 Bot 組成團隊，每個 Bot 擁有獨立名稱、職責、指令、形象與可切換的模型，並具備持久化長期記憶。它支援設定 Main Bot 主管，訊息預設由主管回覆並排程其他 Bot，以降低群聊的 token 消耗；記憶以 Markdown 檔案儲存，每輪對話後自動審查增刪改，資料儲存在本機 DSH 目錄的 bot/ 與 sessions/ 中。
哈工大 STILL 被 NeurIPS 2026 接收，首個內容感知層內混合注意力
哈爾濱工業大學（深圳）團隊的 STILL 被 NeurIPS 2026 接收，這是首個按內容而非位置在同一注意力層內混合 Softmax 與線性注意力的框架：先用區域性滑窗內的自顯著性分數挑出重要 token 交給 Softmax，其餘交給線性注意力，並用保範數對映 NP-Map 保住預訓練範數結構。它僅用 0.04B token 完成對預訓練 LLM 的線性化，16K 上下文下視訊記憶體削減 80%、預填充加速 83%；