AISpot

NVIDIA 稱 HBM 容量增約 3% 換來 30 倍 agentic 吞吐提升

NVIDIA blog觀點地端推論研究產品與方案

NVIDIA 稱從 Blackwell Ultra 到 Vera Rubin 平台,每顆 GPU 的 HBM 容量只增加約 3%,但在 SemiAnalysis AgentX 上每美元 agentic 吞吐量最高提升 30 倍。

原標題:More Performance From Every Byte: How Full-Stack Codesign Solves AI’s Memory Challenge
閱讀原文

評分38 / 38(平均 38,門檻 65)
狀態未入選

相關報導

NVIDIA blogAI 評分25

輝達稱 Vera Rubin NVL72 每兆瓦吞吐量超 GB300 30 倍

輝達援引 SemiAnalysis AgentX 資料稱,Vera Rubin NVL72 每兆瓦吞吐量超過 GB300 NVL72 的 30 倍,在 DeepSeek V4 Pro 上每百萬 token 成本最多低 45 倍。輝達以「高產、耐用、通用」概括 AI 工廠回報邏輯:每兆瓦 token 數決定收益,A100 出貨六年後仍在商用,CoreWeave 已將 2020 年首批裝置的預訂延長至 2029 年。

NVIDIA blog● 精選AI 評分87

輝達開源 Nemotron 3.5 Super VL 與兩款 Bolt 邊緣模型

輝達發布 1200 億引數開源模型 Nemotron 3.5 Super VL,主打多模態 agentic 任務,官方稱其準確率接近自家最大推理模型、引數量約為五分之一,吞吐量最高達同類模型 5 倍。同時推出兩款邊緣模型:Bolt 74B-A9B 24GB 採用原生 2-bit 量化,可在 RTX/DGX Spark 的 24GB 記憶體內本地執行 agent,現已可用;Bolt E4B 4GB 面向 GeForce RTX、Jetson 等裝置,10 月 23 日發布。

NVIDIA blogAI 評分36

NVIDIA 與合作伙伴把物理 AI 和智慧體 AI 推向全球城市

在巴塞羅那 Smart City Expo 上,NVIDIA 與合作伙伴宣布把物理 AI 與智慧體 AI 擴充套件到全球城市,用於居民服務、視覺智慧體與基礎設施數字孿生。西班牙 1MillionBot 將 ALIA 開源模型與 Nemotron 用於市政服務智慧體,已有 150 多個部署;馬來西亞 ITMAX 的 SamurAI V2 視覺智慧體計劃到 2027 年支援 1.7 萬多路攝像頭,其 TeraSim 模擬把高峰通行時間最多縮短 26%。