Cerebras 用 59 片晶圓部署 3 萬億引數 Kimi K3
Cerebras 詳解如何在自研 WSE-3T 晶圓上部署萬億引數模型:以開源的約 3 萬億引數 Kimi K3 為例,需要 59 片晶圓,可跑到 1000–2000+ tokens/s。每片晶圓有 44GB 片上記憶體,按 4-bit 權重、8-bit KV cache、256k 上下文計算,69 個線性注意力層每片放 2 層、24 個稠密層每片放 1 層。
首次給出萬億引數模型在晶圓級晶片上的具體切分與併發方案,59 片晶圓、單層 16GB、每跳 2 微秒等數字可作參照,適合關注大模型推理硬體與部署成本的人。
原標題:Cerebras Deploys Trillion-Parameter AI Models
閱讀原文
| 評分 | 70 / 68(平均 69,門檻 76) |
|---|---|
| 狀態 | 未入選 |
相關報導
Kimi K3 發布:2.8T 引數開源模型,支援百萬 token 上下文
Kimi 發布最強模型 Kimi K3,引數規模 2.8T,具備原生視覺與 100 萬 token 上下文,並稱其為全球首個開源的 3T 級模型。官方承認整體效能仍落後於 Claude Fable 5 與 GPT 5.6 Sol,但在自家評測中穩定優於其他被測模型。該模型即日上線 Kimi.com、Kimi Work、Kimi Code 與 Kimi API,預設使用最高思考強度;完整權重將於 2026 年 7 月 27 日前開放。
月之暗面發布 Kimi K3.1 Pro:3 萬億引數、百萬上下文
月之暗面正式推出 Kimi K3.1 Pro,這是 K3.1 系列的首個模型,引數量達 3 萬億,支援 100 萬 token 上下文。同時發布智慧水平一致、輸出速度約為普通版 2 到 3 倍的 Kimi K3.1 Pro Highspeed;兩款模型即日起上線 Kimi 網頁版、App、Kimi Work、Kimi Code 與 API,完整權重將於 11 月 4 日前發布。在 Artificial Analysis 智慧指數上,它以 55 分位列全球第四;
Strata 讓 125B 的 Qwen3.8-Flash-Next 在消費級顯示卡上執行
開源專案 Strata 可在普通遊戲 PC 上本地執行 125B 引數的 Qwen3.8-Flash-Next,支援聊天、寫程式碼、讀圖和接入 coding agent,資料不出本機。官方實測 RTX 5070(12GB)在 Q2_0 量化下寫答案 94 tokens/s、讀 32K 提示 2650 tokens/s;RTX 3090(24GB)預計可達 100-140 tokens/s。
Kimi 開源 K2.6:主打長程編碼與 Agent 叢集
Kimi 開源最新模型 K2.6,主打編碼、長程執行與 agent swarm,已上線 Kimi.com、App、API 和 Kimi Code。官方稱其在 Mac 上本地部署 Qwen3.5-0.8B 並用 Zig 實現推理最佳化,經 4000+ 次工具呼叫、12 小時、14 輪迭代,吞吐從約 15 提升到約 193 tokens/s,比 LM Studio 快約 20%;另以 13 小時重構 8 年曆史的 exchange-core,中等吞吐提升 185%。