Ai2 用 GPU 時間預算替代優先順序排程
Ai2 把原先基於優先順序的 GPU 排程器換成了由 GPU 時間預算、層級化公平分配和時間切片契約組成的新系統。它管理數千塊 NVIDIA H100、B200、B300,叢集規模從 88 到 1024 塊 GPU,服務約 150 名內部研究者,GPU 需求長期是供給的 2 到 3 倍。舊方案導致 GPU 蹲坑佔位、優先順序通脹(最終 100% 工作負載都標為 HIGH)以及值班工程師大量時間用於協商關閉不可搶佔任務。
依意思最接近的 30 筆
Ai2 把原先基於優先順序的 GPU 排程器換成了由 GPU 時間預算、層級化公平分配和時間切片契約組成的新系統。它管理數千塊 NVIDIA H100、B200、B300,叢集規模從 88 到 1024 塊 GPU,服務約 150 名內部研究者,GPU 需求長期是供給的 2 到 3 倍。舊方案導致 GPU 蹲坑佔位、優先順序通脹(最終 100% 工作負載都標為 HIGH)以及值班工程師大量時間用於協商關閉不可搶佔任務。
一篇新論文提出 Minions:把多臺 macOS 裝置上閒置的 Apple Silicon GPU 聚合成分散式虛擬 GPU 雲,用來跑大規模機器學習推理。作者認為集中式 GPU 基礎設施成本高、彈性有限、資源緊張時等待時間長,而 Apple Silicon 裝置的 GPU 在日常使用中大多處於空閒狀態。論文稱該方案讓團隊能夠利用現有裝置承載推理負載,具體排程方式與效能資料未在摘要中給出。
SF Compute CEO Evan Conrad 在 AI Engineer NYC 上介紹了把資料中心做成可程式設計算力市場的思路。過去自建 GPU 超算叢集需要 5000 萬至 1 億美元前期投入,並要自己打通從硬體、韌體到核心的整棧;如今使用者可在其平台買賣當下與未來的 GPU 小時,按能否中斷、儲存恢復速度、GPU 代際與網路配置等約束撮合訂單。平台強調按物理資產進行交割,也就是向買方交付真正可用的算力,無須按價格指數支付現金;
Intel 公布面向 agentic AI 的資料中心推理 GPU D270,單卡最高 480GB LPDDR5X 記憶體,350W 風冷,不依賴 HBM。晶片面積從圖形與光追管線轉向 32 個 Xe3P 核心和 256 個 XMX 矩陣引擎,用於加速長上下文、多輪 agent 工作流的 prefill 與高併發服務。
Google 宣布開源 TorchTPU,PyTorch 應用只需改配置、無需重寫程式碼,就能執行在 Google 的 TPU 與 Google Cloud 上。據稱 85% 的 AI 應用基於 PyTorch,而它的許多特性原本專為 Nvidia GPU 設計。前一天 Amazon 也發布 TorchNeuron 支援自家 Trainium,並向 PyTorch 主專案提交程式碼,把各項特性與 Nvidia 晶片解耦。
Google Research 補全了 32 位開源 Coral NPU 的 RISC-V 架構,新增 Matrix Execution Unit 後邊緣推理最高 1 TOPS,平均功耗目標 10 mW。同步釋出 v1.0 開源 IREE/MLIR 編譯器,JAX、PyTorch、TensorFlow 模型可直接編譯到 Coral NPU,不必手寫彙編,從模型到晶片共用一條開源工具鏈。
微軟與輝達在舊金山為首批 RTX Spark 筆記本舉辦發表會,這是輝達新的 AI PC 計算平台。其晶片採用 Arm 架構,而非 AMD、Intel 傳統的 x64,並搭配高效能 GPU,定位面向 AI 的 Windows 筆記本。微軟與輝達為此投入大量工作,讓 Windows 適配這批新機器。
NVIDIA 宣布 DGX Spark 新增 64GB 統一記憶體版本,10 月 23 日由 Acer、ASUS、Dell、Gigabyte、HP、MSI 發售,起售價 4999 美元。該機型保留 GB10 Grace Blackwell 晶片、DGX OS 與完整 AI 軟體棧,支援最高 1000 億引數模型本地執行;兩臺可通過 ConnectX-7 直連組成 128GB 叢集,支援 2000 億引數模型,官方 Qwen 3.8 27B 測試效能提升至 1.7 倍。
Google AI Edge 推出 ML Drift,一個面向端側 AI 與機器學習推理的高效能通用 GPU 計算框架。它把 OpenGL ES、OpenCL、Metal、WebGPU 等底層硬體與圖形計算 API 抽象掉,讓開發者無需直接處理這些介面,就能在移動端與桌面端建置即時互動式 ML 體驗,覆蓋從複雜影片特效到生成式 AI 的場景。
由 Ericsson、AstraZeneca、Saab、SEB 等組成的瑞典聯合體啟用 Sferical One 超算,執行在兩套 NVIDIA DGX SuperPOD 上,共 16 機架 DGX GB300 系統、1152 塊 GPU,並將基於 Nemotron 開源模型建置服務。北歐正成為歐洲增長最快的基礎設施樞紐,AI 雲預計到 2027 年底在該地區部署 1 吉瓦容量,Bitdeer、CoreWeave、Nscale 等均在列。
在 GTC Berlin 上,輝達發布 DSX POD 參考設計,將基於 Vera Rubin 的整套 AI 工廠裝入模組化集裝箱,並在交付前完成整合與驗證,現場部署時間由 6 個月縮短至 14 天。DSX AI Factory 平台稱冷卻用水最多減少 100%,同等 AI 產出耗電最多降低 30%,Vera Rubin 已進入全面量產。
崑崙萬維發布並開源 Matrix-Game 4.0,稱其為全球首個可在消費級顯示卡上即時執行的影片大模型遊戲。基於 Wan2.2 5B 改造,單張 RTX 5090 上以 480p 實現 60 FPS 遊戲執行,按鍵到畫面端到端延遲低於 150ms,1 步去噪穩態生成 83 FPS,視訊記憶體峰值約 18.5 GiB。作為對比,輝達同期 StreamRender-H3 需 8 張 GB200,互動延遲約 500ms。開源內容包括模型權重和可由開發者直接修改、擴充套件的遊戲程式碼。
官方只支援 Windows 的 ASUS ProArt P16(128GB 記憶體版)已被裝上 Arch Linux ARM 並能正常使用。作者基於 NVIDIA 面向 Ubuntu 的核心工作,補齊 ACPI 覆蓋、hid-asus 鍵盤與音訊驅動,做出可啟動映象,並擴充套件 Archinstall 4.5 來安裝硬體支援;7-Zip 單執行緒成績與 Windows 基本持平,20 執行緒壓縮約領先 5%、解壓約領先 3%。
SpaceX 與 Anthropic 的算力協議包含超 300 兆瓦新容量和 22 萬塊輝達 GPU,並提高 Claude Code 與 API 的使用額度;SpaceX 8 月首份財報顯示季度 AI 業務收入 25.61 億美元,同比增長 247%。算力緊張正在重塑矽谷關係,Google 2024 年花 27 億美元請回的 Gemini 聯合負責人 Noam Shazeer 因團隊算力被重新分配轉投 OpenAI。
NVIDIA 將於 10 月 16 日正式發布 RTX Spark,一款面向創作者、玩家和 AI agent 的 Windows PC,主打本地 AI 效能。Tom's Hardware、TrustedReviews 等媒體評測稱其遊戲與本地 AI 表現突出,Artificial Analysis 也提供了獨立測試資料。當天舊金山、柏林、臺北、北京、首爾、伊斯坦布林等地舉辦發布活動,多數需提前報名,北京場通過微信報名。
llama.cpp 建置 b11632 為 CUDA 和 HIP 後端加入 GDN chunked kernel(自 tetherto#257 移植)。在 RTX 3090(SM86)與 RTX 4090(SM89)通過正確性和 prefill 基準測試後,CUDA 側啟用 GDN MMA,其他未測試架構繼續沿用原有 fallback;ggml 側另註明 GDN 只在 n_tokens > K 時保證最終狀態。
崑崙萬維旗下 Skywork AI 發布並開源遊戲世界模型 Matrix-Game 4.0,稱其為全球首款可在單張消費級顯示卡上即時執行的遊戲世界模型。它在 RTX 5090 上以 60 FPS、480p 畫質執行,按鍵到畫面回應不到 0.15 秒,視訊記憶體峰值約 18.5GiB。做法是把世界狀態與遊戲規則交給遊戲引擎維護,影片模型只負責生成畫面,Coding Agent 可用自然語言改寫遊戲程式碼,例如把計時賽變成追擊戰。
NVIDIA 與微軟在舊金山活動上發布 RTX Spark,把完整 NVIDIA AI 棧裝進 Windows 筆記本與緊湊桌上型電腦,筆記本即日預售、10 月 16 日發售,桌上型電腦 11 月上市。
輝達援引 SemiAnalysis AgentX 資料稱,Vera Rubin NVL72 每兆瓦吞吐量超過 GB300 NVL72 的 30 倍,在 DeepSeek V4 Pro 上每百萬 token 成本最多低 45 倍。輝達以「高產、耐用、通用」概括 AI 工廠回報邏輯:每兆瓦 token 數決定收益,A100 出貨六年後仍在商用,CoreWeave 已將 2020 年首批裝置的預訂延長至 2029 年。
搭載 Blackwell RTX GPU 與 Grace CPU 的 RTX Spark 筆記本已正式開售,起售價 2399 美元,最高提供 128GB 統一記憶體與 1 petaflop AI 算力。華碩、戴爾、惠普、聯想、微軟、微星首批出貨,主打在輕薄 Windows PC 上本地執行 AI、內容創作與遊戲,官方稱還有更多機型在路上。
德國聯邦政府與輝達簽署意向宣告,將聯合推進面向物理 AI 的前沿模型,並對接德國“工業 4.0 平台”。黃仁勳同時宣布投資 Agile Robots、Avelios Medical、Mirelo、Reflex Aerospace 四家德國初創,屬於其在歐洲近 100 億美元投入的一部分。西門子同日宣布與輝達合作推進自主工廠,全虛擬產線除錯可減少最多 85% 的工程工作量,基於智慧體的生產規劃最高可降本 20%。
NVIDIA 宣布 RTX Spark 筆記本將於 10 月 16 日上市,該平台最高提供 128GB 統一記憶體與 1 petaflop AI 算力。為本地 agent 打造的 Nemotron 3.5 Bolt 74B 將在 10 月 15 日發布,採用 74B 引數、9B 啟用的 MoE 架構,以 2-bit 量化裝入 24GB 記憶體。
llama.cpp 發布建置 b11527(PR #30219),WebGPU 後端移除 1D workgroup 派發,所有原本使用 1D 派發的運算元(如 rms_norm)統一改為 2D workgroup dispatch。
llama.cpp 建置 b11523 為 WebGPU 後端補上 GGML_OP_DUP 運算元,修復了混合批處理路徑的崩潰。此前副本須在 CPU 生成、寫入卻排在 WebGPU,導致繫結 CPU 緩衝後崩潰;現在 DUP 與 CPY、CONT 走同一路徑。此版發布中啟用 KleidiAI 的 macOS Apple Silicon 建置被標為 DISABLED。
NVIDIA 在 OCP 全球峰會上把 Vera Rubin 機架與計算托盤設計通過 MGX 開放架構貢獻給 OCP,併發布 MGX 1.2 規格。MGX 1.2 新增機架級盲插液冷、5000A 液冷母排與原生 19 英寸裝置支援,單機架部署最高 250kW,同時加入面向 agentic AI 的 Vera CPU 機架設計。
Google 開源 TorchTPU,讓 PyTorch 模型可直接跑在 TPU 上,PyPI 最新版本為 0.2.0。專案提供 TPU 的 ATen 核心實現、XLA 計算編譯快取,支援資料並行與張量並行分散式訓練,並接入 torch.compile() 圖模式執行,附帶 Llama、Qwen、ResNet、DLRM、minGPT、UNet 等範例。安裝要求 Python 3.11+,Marimo 互動筆記本需在 TPU VM(如 v6e 例項)上執行。
llama.cpp 發布 b11382 版本,為 WebGPU 後端的 fill/set_rows 操作加入 f16 支援(PR #29897)。該版本同時更新了覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的多平台建置產物,包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU…
輝達宣布計劃投資 Doctolib、Entalpic、Genesis AI 和 Pigment 四家法國初創,方向分別是醫療智慧體、原子級材料工程、通用機器人和企業規劃平台。輝達稱其在歐洲技術生態的累計承諾投入已接近 100 億美元,此前還投資過 Alice&Bob、Gradium 和 Scintil Photonics。
馬斯克表示,SpaceX 曾嘗試從 AWS、GCP 或任何其他供應商租用推理算力,目的是把負載從自家訓練叢集上分流出去。他稱此前流傳的那段對話正是 SpaceX 在這些洽談中經歷的情形,但未披露涉及的具體供應商、算力規模、報價與時間。該表態發布於 2026 年 10 月 19 日。
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重,輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3,LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s;解碼受 DRAM 頻寬限制,實測跑到峰值的 82%-94%。