AISpot

SkyPilot 為 NVL72 做拓撲感知排程,同機架多 27% 可用 GPU

Hacker News front page觀點地端推論產品與方案研究

SkyPilot 通過拓撲感知放置、硬體故障就地恢復和共享叢集自動碎片整理,讓 NVL72 上的多節點任務儘量保持在同一機架內,從同樣機架多提供 27% 可用 GPU。背景是跨機架任務仍會落到 InfiniBand:Hugging Face 測得訓練從 NVLink 切到 InfiniBand 吞吐下降 43%,而 NVL72 用統一 NVLink 連線單機架 72 塊 GPU,可把張量並行與專家並行的 all-reduce、all-to-all 留在機架內。

把 NVL72 的機架區域性性與 27% 可用 GPU 提升、43% 跨機架吞吐損失放在一起講,對多節點訓練與推理的叢集排程有量化參考。

原標題:Grace Blackwell needs a new scheduler: 27% more usable GPUs from the same racks
閱讀原文

評分63 / 64(平均 63,門檻 76)
狀態未入選

相關報導

Hugging Face blog● 精選AI 評分69

Ai2 用 GPU 時間預算替代優先順序排程

Ai2 把原先基於優先順序的 GPU 排程器換成了由 GPU 時間預算、層級化公平分配和時間切片契約組成的新系統。它管理數千塊 NVIDIA H100、B200、B300,叢集規模從 88 到 1024 塊 GPU,服務約 150 名內部研究者,GPU 需求長期是供給的 2 到 3 倍。舊方案導致 GPU 蹲坑佔位、優先順序通脹(最終 100% 工作負載都標為 HIGH)以及值班工程師大量時間用於協商關閉不可搶佔任務。

機器之心● 精選AI 評分70

調研:79% 企業 GPU 過半時間閒置,七成仍計劃擴充算力

VentureBeat Intelligence 在 2026 年 7 至 9 月的三輪調研(385 名受訪者)顯示,79% 的企業表示其 GPU 至少一半時間完全閒置,這一比例三個月穩定在 77% 至 81%。但在這批企業中,70% 仍計劃未來 12 個月引入、擴充或更換 AI 計算平台;計劃採用新平台的受訪者中有 91% 拿不出經財務部門稽核的 ROI 資料。新採購意向中 90% 投向公有云與模型 API,僅 8% 考慮擴建本地私有叢集。

NVIDIA blog● 精選AI 評分65

NVIDIA 公布本地 AI 硬體陣容,DGX Spark 64GB 將於 10 月 23 日開售

NVIDIA 在 GTC 柏林公布本地 AI 硬體全線進展:DGX Spark 64GB 將於 10 月 23 日由合作伙伴開售,最多八臺組成叢集、合計 1TB 統一記憶體。DGX Station for Windows 定於 12 月推出,支援製造業應用與 agent harness;Linux 版 DGX Station 以 748GB 一致記憶體服務 30 名以上使用者。

Apple Machine Learning Research● 精選AI 評分69

Minions:聚合閒置 Apple Silicon 的分散式虛擬 GPU 雲

一篇新論文提出 Minions:把多臺 macOS 裝置上閒置的 Apple Silicon GPU 聚合成分散式虛擬 GPU 雲,用來跑大規模機器學習推理。作者認為集中式 GPU 基礎設施成本高、彈性有限、資源緊張時等待時間長,而 Apple Silicon 裝置的 GPU 在日常使用中大多處於空閒狀態。論文稱該方案讓團隊能夠利用現有裝置承載推理負載,具體排程方式與效能資料未在摘要中給出。

機器之心AI 評分63

無問芯穹 GPU 運算元 Agent 登頂 NVIDIA SOL-ExecBench 四賽道

無問芯穹的 GPU 運算元最佳化 Agent 框架在 NVIDIA Research 的 SOL-ExecBench 上登頂 L1 基礎運算元、L2 融合運算元、Quant 量化與 FlashInfer-Bench 推理四大賽道;在全部 235 道題中拿下 88 項單題第一,超過第二名單題第一數量的 2 倍。該系統把工作區、除錯區和評測區徹底隔離,評測容器停用網路,並用 Skills、共享記憶與統一 GPU 排程讓 Agent 完成程式碼生成、評測驗證、效能分析和策略調整的閉環。