搜尋

找到 3 筆；也可以試試語意搜尋

llama.cpp releases10/16 11:16AI 評分47

llama.cpp 為 Mellum2.1 與 Mellum 加入 MTP 支援

llama.cpp 建置 b11695 為 Mellum2.1 和 Mellum 加入 MTP（多 token 預測）支援，並把 Mellum 的 rope 構造改為內聯方式。

地端推論開源 MTP Mellum2.1 llama.cpp 本地推理多平台建置

llama.cpp releases10/16 05:50AI 評分39

llama.cpp 為 MELLUM 架構加入精度處理支援

llama.cpp 發布新建置 b11681，為 MELLUM 架構加入精度處理（PR #30584）。該版本提供 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯包，涵蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、SYCL、OpenVINO 以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 後端。

地端推論開源 llama.cpp MELLUM 精度處理本地推理建置版本

閱讀原文

llama.cpp releases10/16 06:35AI 評分37

llama.cpp 的 Metal fusion 基線測試將未復現行判為迴歸

llama.cpp 的 Metal fusion 基線測試現在會把執行未復現的基線行判為迴歸：此前報告只由本次執行產生的計數器生成，基線僅作查詢表，fusion 停止匹配就不會產生行、也不會被比對，qwen4exp 與 mellum 正是在 Fusion/metal 任務仍為綠的情況下丟掉 fusion。重錄後的 MTL 基線為 276 行、覆蓋 131 個 dummy 模型；

開發工具地端推論 llama.cpp Metal 本地推理測試基線 PI Coding Agent

閱讀原文