llama.cpp releasesAI 評分37
llama.cpp 把 GGML_RPC_DEBUG 改為 0-3 級日誌
llama.cpp 的 RPC 後端把 GGML_RPC_DEBUG 從開關改為詳細度等級：0 或未設定關閉除錯日誌，1-3 依次輸出事件、逐命令 trace 與傳輸細節，非數字值回退為 1。
搜尋
依意思最接近的 30 筆
X @ggerganovAI 評分62
llama.cpp 借 ggml RPC 後端實現異構裝置分散式推理
llama.cpp 現在可以通過 ggml RPC 後端，把推理任務分散到異構裝置上共同完成，即同一次推理可由不同型別的硬體一起承擔。llama.cpp 作者 Georgi Gerganov 說明，這一能力目前仍是進階設定，但會隨時間逐步降低使用門檻，讓普通使用者也能用上。原文未給出支援的具體硬體組合、效能表現或可用版本。
llama.cpp releasesAI 評分40
llama.cpp b11592：CUDA 圖除錯日誌改由 GGML_CUDA_GRAPH_DEBUG 控制
llama.cpp 發布每日建置 b11592，ggml-cuda 的 CUDA graph 除錯日誌改為只在設定 GGML_CUDA_GRAPH_DEBUG 後才輸出，並移除了這部分日誌的 NDEBUG 編譯開關。同一批提交把 CUDA 環境變數的讀取改成靜態常量快取，程序內只查詢一次，不再每次呼叫重複讀取。
llama.cpp releasesAI 評分42
llama.cpp 發布 b11450：RPC 新增 -sm tensor 選項
llama.cpp 發布 b11450，RPC 後端新增 -sm tensor 選項（#26610），支援在 RPC 場景下按 tensor 拆分模型。該版本還修復 Apple RDMA 的 flush 問題，把 graph_uids 移入 rpc_dispatcher，停止 dispatcher 執行緒空轉，並提升 RPC 主版本號。
llama.cpp releasesAI 評分40
llama.cpp 更新：ggml 符號預設改為 hidden
llama.cpp 發布 b11563 建置，其中 ggml 把符號預設可見性改為 hidden，避免一批內部符號通過 GGML_API 洩漏（#30014，討論見 #29997）。同批建置覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端。
llama.cpp releasesAI 評分45
llama.cpp b11436 修復 OpenVINO 後端多項 GPU 迴歸
llama.cpp b11436 修復 ggml-openvino 後端的 CI 測試失敗與多項 GPU 迴歸。上游 #29622 給輸入 embedding 圖加入混合 token/embd 分支，後端改為只從計算節點建置 OV 模型，並把同型別連續 DUP 按 CONT 翻譯以避免圖被拆分，修復了 CPU 與 GPU 上首個單 token decode 失敗；
llama.cpp releasesAI 評分46
llama.cpp 修復 ggml CLAMP 非連續檢視定址錯誤
ggml 修復了 CLAMP 運算元在非連續檢視上的定址錯誤，涉及 CPU 與 CUDA 後端。CUDA 此前按 ggml_nelements 做平坦處理、忽略檢視 stride，CPU 則把第 j 行按 j*nb01 定址、忽略 nb02/nb03；現在兩者都改為遵循 dims 1..3 的 stride，且 CUDA 的 supports_op 要求行連續，與 Metal 一致。
llama.cpp releasesAI 評分42
llama.cpp 新增回撥，推理時可上報計算圖重新分配
llama.cpp 建置 b11567 引入可選的 ggml_backend_sched_realloc_callback，使用者程式碼通過 ggml_backend_sched_set_realloc_callback 註冊後，可在為計算圖預留的緩衝區不足、需要重新分配時收到通知。回撥會報告後端分配方案與圖大小相對上次排程是否發生變化。
llama.cpp releasesAI 評分12
llama.cpp 發布 b11407，修復 Vulkan 測試編譯錯誤
llama.cpp 發布 b11407 版本，修復了在開啟 -DGGML_VULKAN_RUN_TESTS=ON 時 Vulkan 後端出現的未宣告識別符號問題。該版本同步提供 macOS、Linux、Windows、Android 等多平台預編譯包，涵蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端。
llama.cpp releasesAI 評分45
llama.cpp b11581 移除多餘的 ggml_cont 呼叫
llama.cpp 發布建置 b11581，主要改動是刪除模型實現中多餘的 ggml_cont 呼叫，官方稱所有 unary kernel 現在都已支援這種用法，CUDA unary kernel 也已跟進。同一批提交修正了 qwen3next：在用於廣播乘法的 sigmoid 前後恢復 cont_2d 張量連續性，並清理 dflash 的 cont。
量子位● 精選AI 評分88
Anthropic 實測：GLM-5.2 端到端自主複製攻陷 8 臺裝置
Anthropic 兩位安全研究員 William Zhou 與 Daniel Freeman 發布「自主複製與適應（ARA）」安全實驗：在 8 個 GCP 節點（Android 15 redroid）組成的隔離網路裡，GLM-5.2 在 5 次測試中 4 次自主攻陷並部署全部 8 臺裝置，另 1 次拿下 7 臺。研究還顯示，Qwen3.5-9B 能在 9 種硬體中的 8 種上自行排錯並部署 Llama3.1-8B；
llama.cpp releases● 精選AI 評分74
llama.cpp 合併 K2 Horizon 支援，修復 Windows GGUF 無法載入
llama.cpp 合併了 K2 Horizon 稠密模型與 MoVA 支援，包含 GGUF 轉換、計算圖、tokenizer、chat template，以及推理與工具呼叫。
llama.cpp releasesAI 評分46
llama.cpp 修復 ggml_acc 負偏移導致的越界寫
llama.cpp 建置 b11529 修復了 ggml 中 ggml_acc 的越界寫漏洞：ggml_acc_impl 將 size_t 偏移量收窄為 int32_t 時未做檢查，超大偏移會截斷成負數，再被符號擴充套件為巨大 size_t 導致邊界斷言失效，可在 dst 緩衝區下方越界寫入。修復方式是在收窄前檢查偏移量，與 ggml_set_impl 中已有檢查保持一致。該版本同時提供 macOS、Linux、Windows、Android 等多平台預編譯包。
llama.cpp releasesAI 評分36
llama.cpp 發布 b11459：ggml-webgpu 在 WASI 上停用 Dawn 原生特性
llama.cpp 發布建置 b11459，唯一列出的程式碼改動是 ggml-webgpu 在 WASI 上不再啟用 Dawn 原生特性。該建置的預編譯產物覆蓋 macOS Apple Silicon（arm64）與 Intel（x64）、iOS XCFramework、Linux、Android、Windows 以及 openEuler。後端包括 CPU、Vulkan、CUDA 12、CUDA 13、ROCm 10.0、OpenVINO 與 SYCL；
llama.cpp releasesAI 評分45
b11536: ui: Models Manager Follow-up Improvements (#30228)
llama.cpp 新版本 b11536 讓 server 的 GET /models 直接返回每個模型的訓練上下文長度（context_length），資料取自 GGUF 後設資料，無需載入模型或請求 Hugging Face Hub。新增的 common_get_gguf_n_ctx_train 只讀後設資料、相容 u32 與 u64，檔案缺失或無效時返回 0，router 列表因此可離線攜帶該欄位。
llama.cpp releasesAI 評分45
llama.cpp b11439 將選擇性專家複製重構到使用者程式碼
llama.cpp 發布 b11439 版本，把 selective expert copying 從 ggml 內部重構到使用者程式碼，並將兩個模型納入 selective expert copy 測試，測試模型選用 deepseek2，改動由 Georgi Gerganov 等人共同提交，同時修正了 ggml-backend.h 的註釋與空白。
Google Developers blog● 精選AI 評分68
Google 發布 ML Drift：端側通用 GPU 推理框架
Google AI Edge 推出 ML Drift，一個面向端側 AI 與機器學習推理的高效能通用 GPU 計算框架。它把 OpenGL ES、OpenCL、Metal、WebGPU 等底層硬體與圖形計算 API 抽象掉，讓開發者無需直接處理這些介面，就能在移動端與桌面端建置即時互動式 ML 體驗，覆蓋從複雜影片特效到生成式 AI 的場景。
llama.cpp releases● 精選AI 評分70
llama.cpp 的 OpenVINO 後端更新至 2026.4.1 並大幅最佳化 MoE 效能
ggml-openvino 後端更新到 2026.4.1，重點最佳化 Qwen3.5 MoE 推理效能，並新增推理效能分析、預設使用遠端輸出張量、磁碟快取模型直載（cache_only）等能力。在 Arc B390 上以 q4_asym64_all 重量化執行 gemma-4-26B-A4B，pp512 從 66.16 t/s 提升到 1608.73 t/s，tg128 從 25.94 提升到 26.46 t/s，困惑度基本不變。
llama.cpp releasesAI 評分45
llama.cpp 為 ggml 後端緩衝區介面新增 alloc_buffer_n
llama.cpp 的 ggml 後端緩衝區型別介面新增 alloc_buffer_n 方法，並公開 API ggml_backend_buft_alloc_buffer_n，同時加入 get_alloc_size_n 與配套測試。預設實現負責多緩衝區拆分與張量分配，Meta 緩衝區型別提供按裝置建立子上下文的自訂實現；cpu、metal、openvino、hexagon、webgpu 等現有後端介面先置為 NULL。
Google Developers blog● 精選AI 評分73
Google 發布 Developer Knowledge API 與 MCP Server 公測
Google 宣布 Developer Knowledge API 與 MCP Server 進入公開預覽，為 AI 助手和 agent 平台提供機器可讀的官方文件檢索方式。該工具覆蓋 Firebase、Google Cloud、Android 等產品的文件，開發者可通過官方 MCP server 將工具直接接入 Google 的文件語料庫。這樣 AI 生成的程式碼與建議就能基於權威、即時的上下文。
llama.cpp releasesAI 評分33
llama.cpp 發布 b11438，動態後端需顯式載入
llama.cpp 發布 b11438，主要變更是 test-llama-archs 在生成模型前先初始化後端（#30034）：開啟 GGML_BACKEND_DL 時，必須先顯式載入後端才能建立模型。
llama.cpp releasesAI 評分43
llama.cpp 新增 clef 決策模型純文字支援
llama.cpp 合併 PR #29831，為 clef 決策模型加入初始支援，目前僅限純文字輸入。該改動同時更新了 gguf-py 常量並清理了靜態圖相關程式碼，隨附的建置產物覆蓋 macOS、Linux、Windows、Android 與 openEuler 等多個平台。
llama.cpp releases● 精選AI 評分78
llama.cpp 合併 GLM5-Next MTP 支援，可作 draft 模型
llama.cpp 合併 PR #29928，為 GLM5-Next 加入多 token 預測（MTP）的 NextN 計算圖，使其能作為投機解碼的 draft 模型使用。改動包括支援只含 NextN 層或只含主幹張量的拆分 GGUF 檔案載入，並把 MTP 圖按輸出行裁剪，無輸出行的 4-token catch-up 核心耗時從 6.9 ms 降到 2.9 ms，貪心輸出雜湊與 draft 接受率不變。
X @ggerganov● 精選AI 評分69
llama.cpp 首日支援 EmbeddingGemma 2
llama.cpp 已實現對 EmbeddingGemma 2 的 Day-0 支援，由作者 ggerganov 公布。對應 GGUF 權重由 ggml-org 發布在 Hugging Face，可直接下載用於本地推理。Day-0 意味著模型發布當天即可在 llama.cpp 上執行，無需等待社群自行轉換。
llama.cpp releasesAI 評分58
llama.cpp b11551 加入 MiniCPM-V 4.7 支援
llama.cpp 建置 b11551 新增 MiniCPM-V 4.7 多模態模型支援，mtmd 與 conversion/minicpm.py 轉換指令碼同步更新。同時允許 mrope 的時間從額外位置槽讀取，GGUF 新增 rope.section_order 後設資料，並處理 grid layout 與相容性問題。
llama.cpp releasesAI 評分38
llama.cpp b11523 修復 WebGPU 混合批處理崩潰
llama.cpp 建置 b11523 為 WebGPU 後端補上 GGML_OP_DUP 運算元，修復了混合批處理路徑的崩潰。此前副本須在 CPU 生成、寫入卻排在 WebGPU，導致繫結 CPU 緩衝後崩潰；現在 DUP 與 CPY、CONT 走同一路徑。此版發布中啟用 KleidiAI 的 macOS Apple Silicon 建置被標為 DISABLED。
X @Zai_org● 精選AI 評分63
GLM-5.3 上線 Amazon Bedrock
@Zai_org 宣布 GLM-5.3 已在 Amazon Bedrock 上線，企業使用者可通過該平台呼叫。官方稱其為企業帶來更強的程式設計與 agentic 能力，並附上 AWS 文件中的模型卡連結作為接入入口。除上線渠道與能力定位外，本次未披露定價、上下文長度、可用區域等細節。
llama.cpp releasesAI 評分42
llama.cpp b11609 修復 WebGPU 重複專家 ID 的 mul_mat_id
llama.cpp 發布 b11609，修復 WebGPU 後端在 expert id 重複時 mul_mat_id 的計算錯誤，屬 CI 修復。該問題涉及 MoE 模型的專家路由，同版本照常給出各平台預編譯建置，覆蓋 macOS Apple Silicon（arm64）、Linux 的 CUDA 12/13 與 ROCm 10.0、Windows x64 CUDA/Vulkan、Android arm64，以及 Snapdragon 的 CPU、Adreno GPU 與 H…
量子位AI 評分56
智譜 GLM-5.3-Highspeed 灰度上線，實測 490 tokens/s
智譜在 Zcode 3.15.1 中灰度上線高速模型 GLM-5.3-Highspeed，訂閱使用者隨機獲得體驗資格，有網友實測速度達 490 tokens/s。作為對比，上月亮相的 GLM-5.3-FlashX 最高 200 tokens/s，GLM-5.3-Flash 在 Z.ai API 上約 60 tokens/s。
llama.cpp releases● 精選AI 評分82
llama.cpp v0.6.0 發布：新增擴充套件 batch API 與 GLM-5.3-Flash 支援
llama.cpp 發布 v0.6.0，新增 llama_batch_ext 擴充套件 batch API，支援混合 token/embedding 輸入與 MTP、deepstack 狀態嵌入。本次加入 320B 的 GLM-5.3-Flash（GLM5-Next）文字+視覺混合模型、Clef 決策模型，以及 Qwen4Exp 的 MTP 投機解碼，官方稱在 DGX Spark 上解碼約快 1.5 倍。