商湯大裝置日均服務 6 萬億 Token，異構推理吞吐提升 5 倍
商湯大裝置日均 Token 服務量已達 6 萬億，並預計第四季度升至日均 10 萬億。其在臨港 AIDC 建成萬卡級異構推理叢集，用 PD 分離把 Prefill 交給國產算力、Decode 交給高頻寬 GPU，並支援節點角色動態切換，在相同高階旗艦卡數量下整體 Token 吞吐提升至 5 倍。此外還在探索跨域 PD 分離與 Attention/FFN 分離，後者有望讓單卡吞吐提升 150%–200%、運營成本降低 30%–40%。
原標題：日均6万亿Token服务背后，商汤大装置如何提升推理效能？
閱讀原文
| 評分 | 50 / 50（平均 50，門檻 65） |
|---|---|
| 狀態 | 未入選 |
相關報導
Anthropic 文章設想 AI 每秒輸出百萬 token
Anthropic 發布一篇思想實驗文章，探討「每秒 100 萬 token」的四種含義：上下文容量、輸入處理速度、聚合吞吐量和單智慧體輸出速度，並強調這不是對任何現有模型的實測。文中以 Claude Opus 5.5 為例，其上下文視窗為 100 萬 token，但單次請求輸出上限遠小於此。文章用互動計算器演示：若單智慧體達到每秒 100 萬 token，1000 個故事結局約 1 秒寫完，但加入 60 秒固定檢查後，端到端加速從 10000 倍降至 132.57 倍。
商湯雲宇星空大模型升級，上海量子城市首批政務智慧體落地
商湯大裝置與上海市規劃資源局聯合打造的雲宇星空大模型完成升級，上海量子城市首批政務智慧體隨之落地，其中商湯自研交付的防汛智慧體禹智河洛落地後排程效率提升 80%。升級後的模型已積累 1.3 萬對高品質問答和 15 億 Token 語料，強化空間知識與推理能力；同批交付的另外兩個智慧體大略之眼、詳規小工單，分別面向城市空間洞察與規劃更新。
Qwen3.8-Flash-Next 單使用者輸出達 685 tokens/s
阿里通義千問官方帳號轉發並祝賀 LightSeek 的 TokenSpeed 推理成績：Qwen3.8-Flash-Next 在輝達 GPU 上實現單使用者 685 output tokens/s。官方稱該結果令人印象深刻，並表示期待社群繼續釋放 Qwen 的推理潛力。這一數字指向 Qwen3.8-Flash-Next 在推理側的吞吐表現。
Jev 估值 100 億美元，創始人稱日處理破萬億 token
TypeSafe AI 聯合創始人兼 CEO Diogo Almeida 在 Latent Space 訪談中透露，其 System-One 模型 Jev 估值達 100 億美元，日處理量已突破一萬億 token，且夜間流量持續走高，說明大量呼叫來自機器自動化。Jev 1.13.0 在第三方 JevBench v1.2.1 綜合榜以 75.3 分排名第一，發布影片 6 天瀏覽量超 3870 萬。
智譜 GLM-5.3-Highspeed 灰度上線，實測 490 tokens/s
智譜在 Zcode 3.15.1 中灰度上線高速模型 GLM-5.3-Highspeed，訂閱使用者隨機獲得體驗資格，有網友實測速度達 490 tokens/s。作為對比，上月亮相的 GLM-5.3-FlashX 最高 200 tokens/s，GLM-5.3-Flash 在 Z.ai API 上約 60 tokens/s。