Minions:聚合閒置 Apple Silicon 的分散式虛擬 GPU 雲
一篇新論文提出 Minions:把多臺 macOS 裝置上閒置的 Apple Silicon GPU 聚合成分散式虛擬 GPU 雲,用來跑大規模機器學習推理。作者認為集中式 GPU 基礎設施成本高、彈性有限、資源緊張時等待時間長,而 Apple Silicon 裝置的 GPU 在日常使用中大多處於空閒狀態。論文稱該方案讓團隊能夠利用現有裝置承載推理負載,具體排程方式與效能資料未在摘要中給出。
依意思最接近的 30 筆
一篇新論文提出 Minions:把多臺 macOS 裝置上閒置的 Apple Silicon GPU 聚合成分散式虛擬 GPU 雲,用來跑大規模機器學習推理。作者認為集中式 GPU 基礎設施成本高、彈性有限、資源緊張時等待時間長,而 Apple Silicon 裝置的 GPU 在日常使用中大多處於空閒狀態。論文稱該方案讓團隊能夠利用現有裝置承載推理負載,具體排程方式與效能資料未在摘要中給出。
Ai2 把原先基於優先順序的 GPU 排程器換成了由 GPU 時間預算、層級化公平分配和時間切片契約組成的新系統。它管理數千塊 NVIDIA H100、B200、B300,叢集規模從 88 到 1024 塊 GPU,服務約 150 名內部研究者,GPU 需求長期是供給的 2 到 3 倍。舊方案導致 GPU 蹲坑佔位、優先順序通脹(最終 100% 工作負載都標為 HIGH)以及值班工程師大量時間用於協商關閉不可搶佔任務。
Intel 公布面向 agentic AI 的資料中心推理 GPU D270,單卡最高 480GB LPDDR5X 記憶體,350W 風冷,不依賴 HBM。晶片面積從圖形與光追管線轉向 32 個 Xe3P 核心和 256 個 XMX 矩陣引擎,用於加速長上下文、多輪 agent 工作流的 prefill 與高併發服務。
輝達援引 SemiAnalysis AgentX 資料稱,Vera Rubin NVL72 每兆瓦吞吐量超過 GB300 NVL72 的 30 倍,在 DeepSeek V4 Pro 上每百萬 token 成本最多低 45 倍。輝達以「高產、耐用、通用」概括 AI 工廠回報邏輯:每兆瓦 token 數決定收益,A100 出貨六年後仍在商用,CoreWeave 已將 2020 年首批裝置的預訂延長至 2029 年。
NVIDIA 與微軟在舊金山活動上發布 RTX Spark,把完整 NVIDIA AI 棧裝進 Windows 筆記本與緊湊桌上型電腦,筆記本即日預售、10 月 16 日發售,桌上型電腦 11 月上市。
NVIDIA 發布一批案例,展示開發者用 GPT-6 Astra、Claude Fable 5 等前沿模型驅動 Omniverse 庫完成模擬開發。開發者以自然語言下指令,由模型連線 ovphysx 物理、ovrtx 渲染與感測器模擬等庫,再人工稽核並逐步修正結果。
Vx 是一門面向異構計算的系統程式語言,把 CPU、GPU、NPU 與加速器記憶體納入型別系統,主機執行緒解引用裝置指標會直接編譯報錯而非執行時崩潰。它要求跨記憶體空間的資料移動顯式呼叫 transfer(),並用機器檔案描述 H100、H200、B200、A100、MI300X、Apple M4 等真實硬體的記憶體層級與互連,編譯期據此接受或拒絕放置方案。
微軟發布第三代自研 AI 晶片 Maia 300,將其定位為微軟產品與服務的主要 AI 推理系統,計劃 2027 年開始投入生產部署。微軟雲業務執行副總裁 Scott Guthrie 表示,相比主流的 GPU 系統,Maia 300 每兆瓦可多輸出 40% 的 token,並更能應對最新的推理模型與 agentic 任務。該晶片的設計目標是提升雲端 AI 工作負載的成本與效率,減少對 Nvidia GPU 的依賴。
Google AI Edge 推出 ML Drift,一個面向端側 AI 與機器學習推理的高效能通用 GPU 計算框架。它把 OpenGL ES、OpenCL、Metal、WebGPU 等底層硬體與圖形計算 API 抽象掉,讓開發者無需直接處理這些介面,就能在移動端與桌面端建置即時互動式 ML 體驗,覆蓋從複雜影片特效到生成式 AI 的場景。
NVIDIA 宣布 DGX Spark 新增 64GB 統一記憶體版本,10 月 23 日由 Acer、ASUS、Dell、Gigabyte、HP、MSI 發售,起售價 4999 美元。該機型保留 GB10 Grace Blackwell 晶片、DGX OS 與完整 AI 軟體棧,支援最高 1000 億引數模型本地執行;兩臺可通過 ConnectX-7 直連組成 128GB 叢集,支援 2000 億引數模型,官方 Qwen 3.8 27B 測試效能提升至 1.7 倍。
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重,輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3,LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s;解碼受 DRAM 頻寬限制,實測跑到峰值的 82%-94%。
在 OCP 全球峰會上,NVIDIA 通過開放的 MGX 架構把 Vera Rubin 機架與計算托盤設計貢獻給 OCP,為系統廠商提供下一代 AI 工廠的共同基礎。更新的 MGX 1.2 規格新增機架級盲插液冷、可互操作機架互連和液冷 5000A 母線,支援最高 250kW 機架部署,並加入原生 19 英寸裝置支援。
SpaceX 與 Anthropic 的算力協議包含超 300 兆瓦新容量和 22 萬塊輝達 GPU,並提高 Claude Code 與 API 的使用額度;SpaceX 8 月首份財報顯示季度 AI 業務收入 25.61 億美元,同比增長 247%。算力緊張正在重塑矽谷關係,Google 2024 年花 27 億美元請回的 Gemini 聯合負責人 Noam Shazeer 因團隊算力被重新分配轉投 OpenAI。
llama.cpp 發布 b11382 版本,為 WebGPU 後端的 fill/set_rows 操作加入 f16 支援(PR #29897)。該版本同時更新了覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的多平台建置產物,包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU…
聯想 YOGA Pro 15 RTX Spark 於 10 月 8 日 9:00 開啟全網盲約,為全球首批搭載 NVIDIA RTX Spark N1X 超級晶片的本地智慧體 AIPC。N1X 整合最高 6144 核 Blackwell RTX GPU 與 20 核 Grace CPU,端側算力達 1 Petaflop FP4,整機最高 128GB 統一記憶體、2TB 儲存、80W 滿功耗,可本地執行超千億引數大模型,並出廠預裝 35B 本地模型。
Reddit 的 r/ClaudeAI 版塊有使用者發帖展示 Claude Code 所用虛擬機器的配置,評論區稱這是模型在程式碼執行時可訪問的沙箱環境,有人曾開啟 appdata 深層目錄下的 .vhd 檔案檢視,確認是一臺標準虛擬機器。另有評論提到該虛擬機器內部代號為 Wiggle,並稱近期有人在 Reddit 上放出過相關檔案。
輝達聯合 MIT 與牛津大學提出的 Physis-Lang,把物理原因、規律和結果寫進影片文字描述,並貫穿資料篩選、模型訓練與影片生成。其 Cosmos3-Super 與 Cosmos3-Nano 在 Physics-IQ Verified 榜單以 48.2 和 43.3 分列前二,Super 較此前最高分高出 5.5 個百分點。基於 Cosmos3-Nano 的版本在論文四項物理 benchmark 上取得開源最佳,三項總分超過 Veo 3.1。
llama.cpp 合併 PR #28531,在共享記憶體為 32KB 的三星 GPU 上停用 Vulkan 後端的大矩陣乘分塊(large matmul tile),以規避該硬體配置下的問題。該改動由 Claude Opus 輔助完成,並附有建置證明連結。
近期出現一批極窄用途的推理執行時,包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性,只針對少數模型甚至單一硬體家族(如 Strix Halo)做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態,並有助於智慧的民主化與去中心化,讓現有硬體在特定配置下榨出最大輸出。
llama.cpp 發布建置 b11527(PR #30219),WebGPU 後端移除 1D workgroup 派發,所有原本使用 1D 派發的運算元(如 rms_norm)統一改為 2D workgroup dispatch。
美國司法部 10 月 2 日宣布逮捕 38 歲的 Earthmade Computer 執行長 Greg Lui,指控其利用虛假檔案將價值超 3 億美元的受出口管制輝達晶片伺服器走私至中國。起訴書稱,Lui 涉嫌與馬來西亞、新加坡等南亞國家的貨運代理公司合謀,非法轉運輝達 A100 和 H100 GPU。美方擔憂這些晶片可用於訓練大語言模型,可能帶來國家安全風險。
GPT-6 Astra Ultrafast 已在 OpenAI API 上線,並向符合條件的 ChatGPT Work 與 Codex 使用者開放,執行在 NVIDIA Blackwell GPU 上。官方稱其 token 生成速度最高可達 Astra Standard 模式的 8 倍,可縮短 coding agent 的編輯—測試—除錯迴圈,並減少工具呼叫之間的等待。開發者可通過 API 使用,訪問方式、價格與實現細節見 Ultrafast 指南。
llama.cpp 建置 b11523 為 WebGPU 後端補上 GGML_OP_DUP 運算元,修復了混合批處理路徑的崩潰。此前副本須在 CPU 生成、寫入卻排在 WebGPU,導致繫結 CPU 緩衝後崩潰;現在 DUP 與 CPY、CONT 走同一路徑。此版發布中啟用 KleidiAI 的 macOS Apple Silicon 建置被標為 DISABLED。
llama.cpp 發布 b11407 版本,修復了在開啟 -DGGML_VULKAN_RUN_TESTS=ON 時 Vulkan 後端出現的未宣告識別符號問題。該版本同步提供 macOS、Linux、Windows、Android 等多平台預編譯包,涵蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端。
llama.cpp 發布 b11554,Vulkan 後端改進了 MoE 推理中 mul_mat_id 對重複專家 id 的處理:不再逐個迴圈,而是在預計算階段統一處理。原本受限的 hoist row ids 最佳化現在預設開啟,會生成緊湊的 tile 描述列表、按需發射多個 tile,從而收緊 workgroup 數量上界,尾部執行緒可直接提前退出。
輝達正在洽談收購美國「開放」模型初創公司 Reflection AI,交易目前尚未確認。訊息由《金融時報》報導,報導以帶引號的「open」描述這家公司的模型路線。除洽談本身外,交易金額、條款與時間表均未公開,也沒有雙方或監管層面的進一步資訊。
llama.cpp 現在可以通過 ggml RPC 後端,把推理任務分散到異構裝置上共同完成,即同一次推理可由不同型別的硬體一起承擔。llama.cpp 作者 Georgi Gerganov 說明,這一能力目前仍是進階設定,但會隨時間逐步降低使用門檻,讓普通使用者也能用上。原文未給出支援的具體硬體組合、效能表現或可用版本。
Google Labs 推出 AI 遊戲創作平台 Playground,用文字提示就能生成可在瀏覽器執行的遊戲,無需程式設計能力。使用者可選擇問答、競速等型別,指定 2D 或 3D、單人或多人玩法,還能上傳圖片讓 AI 轉成符合美術風格的遊戲資產;成品支援手機與電腦遊玩、連結分享或發布到 Explore 畫廊,並可持續修改。
在 Capcom Open Conference RE: 2026 上,程式設計師 Satoshi Ishida 以「REX 專案的前景與未來」為題演講,稱制作《生化危機》級別遊戲時連簡單任務都極其耗時,解決方案是把 AI 技術成功整合進開發流程。他表示為「與 AI 共同創造遊戲的未來」做準備。Capcom 此前曾稱不會使用 AI。
微軟在兩年來的首場線下活動中發布 Surface Laptop Ultra,這是首款搭載 Nvidia RTX Spark SoC 的裝置,起售價 2599 美元,10 月 16 日開始發貨,現已開啟預售。它可選 5120 核或 6144 核 Blackwell GPU,統一記憶體最高 128GB LPDDR5x,依靠統一記憶體分配而非傳統視訊記憶體上限,兼顧本地 AI 開發部署與 3A 遊戲執行。