llama.cpp b11450：RPC 新增 -sm tensor，支援異構裝置分散式推理上升

先了解這件事AI 綜述

2026 年 10 月 6 日，llama.cpp 發布 b11450 版本，其 RPC 後端新增 -sm tensor 選項（#26610），支援在 RPC 場景下按 tensor 拆分模型。同一版本還修復了 Apple RDMA 的 flush 問題，把 graph_uids 移入 rpc_dispatcher，停止 dispatcher 執行緒空轉，移除 meta backend 相關變更，並提升了 RPC 主版本號。該版本照例提供覆蓋 macOS（Apple Silicon、Intel）、iOS、Linux（CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL）、Android、Windows 與 openEuler 等多平台多後端的建置產物，其中 macOS 的 KleidiAI 版以及部分 openEuler 建置被標記為 DISABLED。次日 10 月 7 日，作者 Georgi Gerganov 在 X 上說明，llama.cpp 現在可以通過 ggml RPC 後端把推理任務分散到異構裝置上共同完成，即同一次推理可由不同型別的硬體一起承擔；他表示這目前仍是進階設定，但會隨時間逐步降低使用門檻，讓普通使用者也能用上。原文沒有給出支援的具體硬體組合、效能表現或可用版本。對在本地或多機環境跑模型的使用者來說，這意味著可以把不同硬體的算力拼在一起來分擔一次推理，但短期內仍需按進階配置自行搭建；RPC 主版本號的上調也可能影響 RPC 客戶端與服務端之間的版本相容。

AI 根據 2 則報導生成 · 10/7 20:00 更新

本事件熱度走勢

為什麼熱

過去 48 小時，有 2 個獨立來源報導，最近 6 小時新增 1 個。熱度 1.4，熱門榜第 10 名。

熱度以 48 小時內的獨立來源計，同一來源只算一次，每 24 小時權重減半。

事件紀錄

最早報導

10/6 20:08

最近更新

10/7 18:52

同一事件的報導集中在這裡，新的進展會繼續補充。