Hacker News front pageAI 評分69
Cerebras 用 59 片晶圓部署 3 萬億引數 Kimi K3
Cerebras 詳解如何在自研 WSE-3T 晶圓上部署萬億引數模型：以開源的約 3 萬億引數 Kimi K3 為例，需要 59 片晶圓，可跑到 1000–2000+ tokens/s。每片晶圓有 44GB 片上記憶體，按 4-bit 權重、8-bit KV cache、256k 上下文計算，69 個線性注意力層每片放 2 層、24 個稠密層每片放 1 層。
找到 1 筆；也可以試試 語意搜尋
Cerebras 詳解如何在自研 WSE-3T 晶圓上部署萬億引數模型：以開源的約 3 萬億引數 Kimi K3 為例，需要 59 片晶圓，可跑到 1000–2000+ tokens/s。每片晶圓有 44GB 片上記憶體，按 4-bit 權重、8-bit KV cache、256k 上下文計算，69 個線性注意力層每片放 2 層、24 個稠密層每片放 1 層。