llama.cpp 新增 maion-coder 架構支援
llama.cpp 發布 b11658 建置,新增對 maion-coder 模型架構的支援,並加入對 Draft 模型的推理支援,提交者包括微軟的 Karthik Vijayan。
官方建置首次納入 maion-coder 架構並支援 Draft 模型,本地跑該系列模型不必再自行打補丁,對使用 llama.cpp 做本地推理的開發者有直接價值。
原標題:b11658
閱讀原文
| 評分 | 65 / 55(平均 60,門檻 60) |
|---|---|
| 狀態 | 精選 |
全文翻譯
由 AI 翻譯,以原文為準。
原文
相關報導
llama.cpp 發布 b11384 版本,覆蓋多平台預編譯包
llama.cpp 發布 b11384 版本,官網為 llama.app,並附 GitHub 建置證明。該版本提供 macOS、iOS、Linux、Android、Windows 及 openEuler 的預編譯包,涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。
llama.cpp b11572 新增 vLLM d3 模型支援
llama.cpp 發布 b11572,新增對 vLLM d3 模型的支援(d2 同步更新),並加入 pplx-decider 模型支援,同時澄清命名規則、加強校驗。該版本照例提供 macOS/iOS、Linux、Windows、Android、openEuler 的預編譯包,覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。
llama.cpp 發布 b11465,覆蓋 CUDA 13 與 ROCm 10.0 等平台
llama.cpp 發布建置版本 b11465,本次改動是「測試:在測試遞迴回滾時保留 anchor」(#29923)。該版本提供的預編譯產物覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler,其中 Windows 與 Linux 的 x64/arm64 均包含 CUDA 12、CUDA 13(CUDA 13.4 庫)、Vulkan、ROCm 10.0、OpenVINO、SYCL 等後端。
llama.cpp 建置 b11641:spec 新增 lilicorr 支援
llama.cpp 發布建置 b11641,其中 spec(推測解碼)新增 lilicorr 支援(PR #30506),是本次最主要的變更。同一批提交還讓 convert 採用約定的超參賦值方式,併為 llama-batch.cpp 中的 hparam 使用留下 TODO,另有一處 typo 修復,提交由 Georgi Gerganov 共同署名。
llama.cpp 新增 nimble 決策模型支援
llama.cpp 發布 b11364 版本,新增對 nimble 決策模型的支援(PR #29844)。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台,提供 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL、Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端建置;