搜尋：多核並行

NVIDIA blog10/1 14:00AI 評分25

輝達稱 Vera Rubin NVL72 每兆瓦吞吐量超 GB300 30 倍

輝達援引 SemiAnalysis AgentX 資料稱，Vera Rubin NVL72 每兆瓦吞吐量超過 GB300 NVL72 的 30 倍，在 DeepSeek V4 Pro 上每百萬 token 成本最多低 45 倍。輝達以「高產、耐用、通用」概括 AI 工廠回報邏輯：每兆瓦 token 數決定收益，A100 出貨六年後仍在商用，CoreWeave 已將 2020 年首批裝置的預訂延長至 2029 年。

產品與方案 NVIDIA AI 工廠投資回報率 Vera Rubin CUDA

閱讀原文

r/LocalLLaMA top of the day10/3 19:24AI 評分42

專用推理引擎興起，放棄通用性換極致效能

近期出現一批極窄用途的推理執行時，包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性，只針對少數模型甚至單一硬體家族（如 Strix Halo）做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態，並有助於智慧的民主化與去中心化，讓現有硬體在特定配置下榨出最大輸出。

地端推論開源推理引擎過擬合推理 llama.cpp vLLM Strix Halo

閱讀原文