llama.cpp releasesAI 評分31
llama.cpp 在 32KB 共享記憶體的三星 GPU 上停用大矩陣乘分塊
llama.cpp 合併 PR #28531，在共享記憶體為 32KB 的三星 GPU 上停用 Vulkan 後端的大矩陣乘分塊（large matmul tile），以規避該硬體配置下的問題。該改動由 Claude Opus 輔助完成，並附有建置證明連結。
搜尋
依意思最接近的 14 筆
llama.cpp releasesAI 評分43
llama.cpp 修復 Vulkan 主機記憶體問題，AMD 停用記憶體共享
llama.cpp 發布 b11683 版本，Vulkan 後端修復了 GPU 可見主機記憶體的相關問題，並減少主機指標匯入失敗時的日誌刷屏。該版本把 MoltenVK 排除在共享記憶體匯入之外，同時因 amdgpu 效能問題，在 AMD 上停用了主機記憶體緩衝區共享。
Apple Machine Learning Research● 精選AI 評分69
Minions：聚合閒置 Apple Silicon 的分散式虛擬 GPU 雲
一篇新論文提出 Minions：把多臺 macOS 裝置上閒置的 Apple Silicon GPU 聚合成分散式虛擬 GPU 雲，用來跑大規模機器學習推理。作者認為集中式 GPU 基礎設施成本高、彈性有限、資源緊張時等待時間長，而 Apple Silicon 裝置的 GPU 在日常使用中大多處於空閒狀態。論文稱該方案讓團隊能夠利用現有裝置承載推理負載，具體排程方式與效能資料未在摘要中給出。
llama.cpp releasesAI 評分43
llama.cpp b11594：Vulkan 後端支援多裝置訪問 GPU 可見主機記憶體
llama.cpp 發布 b11594 建置，其中 Vulkan 後端新增多裝置訪問 GPU 可見主機記憶體的能力，並補上了 Windows 支援。該改動（#29741）還清理了多餘的換行、處理 nullptr 並修正啟用條件。
機器之心● 精選AI 評分84
Anthropic 研究：AI 可在廉價電視盒子上自主複製傳播
Anthropic 前沿紅隊發布研究，測試 AI 能否像計算機病毒一樣在不同裝置間自主複製傳播。實驗中 15 臺約 55 美元、4GB 記憶體的安卓電視盒子以流水線並行跑起 Gemma4-26B-A4B，總價約 825 美元，生成速度僅每秒 0.39 個 Token。GLM-5.2 在 8 節點模擬網路中 5 次有 4 次傳播到全部節點，但依賴外部推理伺服器與預開的免認證 ADB 埠；
llama.cpp releasesAI 評分56
llama.cpp 為 SpacemiT X60 補上 Q8_0 IME1 核心
llama.cpp 合併 PR #28479，為 SpacemiT X60 新增 Q8_0 的 IME1 矩陣核心與 repack 路徑。此前該平台 IME 加速只覆蓋 Q4_0/Q4_1/Q4_K，且建置時 GGML_CPU_REPACK=OFF，Q8_0 無加速路徑，prefill 比 Q4_0 慢約十倍。
Hacker News front pageAI 評分68
Vx 發布：把 CPU、GPU、NPU 記憶體寫進型別系統的程式語言
Vx 是一門面向異構計算的系統程式語言，把 CPU、GPU、NPU 與加速器記憶體納入型別系統，主機執行緒解引用裝置指標會直接編譯報錯而非執行時崩潰。它要求跨記憶體空間的資料移動顯式呼叫 transfer()，並用機器檔案描述 H100、H200、B200、A100、MI300X、Apple M4 等真實硬體的記憶體層級與互連，編譯期據此接受或拒絕放置方案。
TechCrunch AIAI 評分37
Cerebras CEO：家用 AI 助理將本地執行
Cerebras 聯合創始人兼 CEO Andrew Feldman 在 TechCrunch Disrupt 2026 上稱，人人家裡都有一臺 AI 裝置的未來並不遙遠，個人 AI 助理會像手機一樣部分在本地執行、部分回到雲端。他預計這些助理會非常瞭解使用者、擁有獨立的安全邊界，還能接入信用卡代為購物。Feldman 自己已用一組 agent 整理日程、準備通話物件的背景資料，但他表示消費級創意留給其他創業者，Cerebras 只做平台。
X @ggerganovAI 評分62
llama.cpp 借 ggml RPC 後端實現異構裝置分散式推理
llama.cpp 現在可以通過 ggml RPC 後端，把推理任務分散到異構裝置上共同完成，即同一次推理可由不同型別的硬體一起承擔。llama.cpp 作者 Georgi Gerganov 說明，這一能力目前仍是進階設定，但會隨時間逐步降低使用門檻，讓普通使用者也能用上。原文未給出支援的具體硬體組合、效能表現或可用版本。
llama.cpp releases● 精選AI 評分69
llama.cpp b11507 支援 MoE 快取跨多 GPU
llama.cpp 發布 b11507 版本，新增 MoE 快取跨多張 GPU 的支援（PR #30112），可讓混合專家模型在多 GPU 環境下更充分地利用視訊記憶體。該版本同時更新了各平台預編譯產物，覆蓋 macOS Apple Silicon、iOS、Linux（CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO）、Windows、Android 以及 openEuler 等平台。
llama.cpp releasesAI 評分47
llama.cpp 修復共享序列 k-pool 資料競爭
llama.cpp 合併 PR #29994，修復 CPU 後端在共享序列（seq_cp）場景下 k-pool 的散射寫入資料競爭：多個共享同一 cell 的序列會從不同 scatter 條目寫同一 rep 行。
Hacker News front pageAI 評分46
逆向工程後，AI Agent 跑在 48MB 記憶體的諾基亞 110 上
一位開發者把 AI Agent 跑在了只有 48MB RAM 的諾基亞 110 功能機上，並已用它自動化了幾個操作。他平時用這部手機來減少螢幕時間，最初嘗試刷入 Android 系統，因記憶體只有 48MB 而失敗，隨後花幾天時間逆向工程，最終讓 AI Agent 在這臺手機上執行。該帖發在 Hacker News 的 Show HN 板塊，目前 15 分、3 條評論，作者未說明所用的是哪個 AI 模型，也沒列出具體自動化了哪些操作。
llama.cpp releasesAI 評分42
llama.cpp 為 SYCL 後端加入分組 MoE XMX GEMM
llama.cpp 建置 b11493 為 SYCL 後端新增分組 MoE XMX GEMM 運算元（#29245），面向混合專家模型的矩陣乘加速。該版本同時放出全平台建置產物，覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 組合。
Hacker News front pageAI 評分72
斯坦福 Ousterhout 提出 Homa 協議替代 TCP
斯坦福教授 John Ousterhout 在 AI Engineer 演講中提出 Homa，一種面向資料中心的全新傳輸協議，認為 TCP 和 RDMA 正成為 AI 叢集的瓶頸。他指出 AI 負載已從大流量梯度傳輸轉向 KV cache 查詢、屏障同步等小訊息協調，這類訊息對延遲敏感，一旦與大數據流混排就會陷入 incast 佇列，拖高尾延遲並讓 GPU 空轉。Homa 基於訊息而非位元組流，採用接收端驅動的擁塞控制，並用 SRPT 優先排程短訊息。