Minions：聚合閒置 Apple Silicon 的分散式虛擬 GPU 雲
一篇新論文提出 Minions：把多臺 macOS 裝置上閒置的 Apple Silicon GPU 聚合成分散式虛擬 GPU 雲，用來跑大規模機器學習推理。作者認為集中式 GPU 基礎設施成本高、彈性有限、資源緊張時等待時間長，而 Apple Silicon 裝置的 GPU 在日常使用中大多處於空閒狀態。論文稱該方案讓團隊能夠利用現有裝置承載推理負載，具體排程方式與效能資料未在摘要中給出。
論文給出用閒置 Apple Silicon 裝置組成虛擬 GPU 雲跑大規模推理的思路，直指集中式 GPU 成本高、彈性差與排隊問題，對關注本地算力與分散式推理的讀者有參考價值。
原標題：Minions: A Dynamic and Distributed Virtual GPU Cloud Built on Idle Apple Silicon Devices
閱讀原文
| 評分 | 68 / 70（平均 69，門檻 60） |
|---|---|
| 狀態 | 精選 |
相關報導
Intel 公布 D270 推理 GPU：480GB 記憶體、350W 風冷
Intel 公布面向 agentic AI 的資料中心推理 GPU D270，單卡最高 480GB LPDDR5X 記憶體，350W 風冷，不依賴 HBM。晶片面積從圖形與光追管線轉向 32 個 Xe3P 核心和 256 個 XMX 矩陣引擎，用於加速長上下文、多輪 agent 工作流的 prefill 與高併發服務。
Google 發布 ML Drift：端側通用 GPU 推理框架
Google AI Edge 推出 ML Drift，一個面向端側 AI 與機器學習推理的高效能通用 GPU 計算框架。它把 OpenGL ES、OpenCL、Metal、WebGPU 等底層硬體與圖形計算 API 抽象掉，讓開發者無需直接處理這些介面，就能在移動端與桌面端建置即時互動式 ML 體驗，覆蓋從複雜影片特效到生成式 AI 的場景。
專用推理引擎興起，放棄通用性換極致效能
近期出現一批極窄用途的推理執行時，包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性，只針對少數模型甚至單一硬體家族（如 Strix Halo）做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態，並有助於智慧的民主化與去中心化，讓現有硬體在特定配置下榨出最大輸出。
Anthropic 將 Cowork 的推理與 VM 全部遷到雲端
Anthropic 的 Cowork 新版本把模型推理和 VM 都放到雲端執行，每個會話獲得獨立沙箱，不與其他會話共享狀態。舊版本只在雲端做推理，工具呼叫由 Anthropic 隨桌面端下發的本地 VM 執行，使用者抱怨磁碟、電量和效能開銷，且合上筆記本工作就會停止。新架構下當雲端 VM 需要使用者裝置上的檔案時，由桌面應用負責該檔案訪問的工具呼叫。官方稱這解決了用手機使用 Cowork、任務持續執行以及不犧牲電池等問題。
NVIDIA 微軟發布 RTX Spark，Windows 筆記本可本地跑 125B 模型
NVIDIA 與微軟在舊金山活動上發布 RTX Spark，把完整 NVIDIA AI 棧裝進 Windows 筆記本與緊湊桌上型電腦，筆記本即日預售、10 月 16 日發售，桌上型電腦 11 月上市。