AISpot

llama.cpp b11806 支援 Prism Hadamard 摺疊權重的 LoRA

llama.cpp releases版本更新地端推論開源

llama.cpp 發布 b11806 建置,LoRA 新增對 prism.hadamard 摺疊權重的支援(#30910),同時從 test-llama-archs 中移除了 LoRA 測試。

原標題:b11806
閱讀原文

評分42 / 48(平均 45,門檻 60)
狀態未入選

原文

lora : support prism.hadamard folded weights ( #30910 ) lora : support prism.hadamard folded weights tests : remove LoRA test from test-llama-archs Website: https://llama.app Attestations: https://github.com/ggml-org/llama.cpp/attestations/58519760 macOS/iOS: macOS Apple Silicon (arm64) macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED macOS Intel (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries Ubuntu x64 (CUDA 13) - CUDA 13.4 libraries Ubuntu arm64 (CUDA 13) - CUDA 13.4 libraries Ubuntu x64 (ROCm 10.0) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP32) Ubuntu x64 (SYCL FP16) Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Android: Android arm64 (CPU) Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Windows: Windows x64 (CPU) Windows arm64 (CPU) Windows arm64 (OpenCL Adreno) Windows x64 (CUDA 12) - CUDA 12.4 DLLs Windows x64 (CUDA 13) - CUDA 13.4 DLLs Windows arm64 (CUDA 13) - CUDA 13.4 DLLs Windows x64 (Vulkan) Windows arm64 (Vulkan) Windows x64 (OpenVINO) Windows x64 (SYCL) Windows x64 (ROCm 10.0) openEuler: DISABLED openEuler x86 (310p) openEuler x86 (910b, ACL Graph) openEuler aarch64 (310p) openEuler aarch64 (910b, ACL Graph) UI: UI

相關報導

llama.cpp releases● 精選AI 評分62

llama.cpp 新增 Prism Bonsai 2 27B 執行時支援

llama.cpp 建置版本 b11556 新增對 Prism Bonsai 2 27B 的執行時支援,改動以 PR #29600 合入,共同署名者包括專案作者 Georgi Gerganov。該 PR 還包含把 Hadamard 張量移入方法、定義摺疊權重、修復 load_* Hadamard 載入,以及轉換器介面整理和程式碼清理,其中多處提交標註由 Claude Code 協助完成。

llama.cpp releasesAI 評分41

llama.cpp 支援批次內混合 embd 與原始 token

llama.cpp 合併 PR #29622,在單一批次中同時支援嵌入向量(embd)和原始 token,並新增 llm_arch_supports_mixed_batch 為 false 時的檢查分支。改動包括固定圖拓撲、為混合場景設定專用輸入、移除 set_tensor_backend、將 is_embd 改為 type,並統一 m-rope 位置處理。

llama.cpp releasesAI 評分23

llama.cpp 發布 b11397,CUDA 後端調整 neu_padded 位置

llama.cpp 發布建置版本 b11397,主要變更是將 CUDA 後端的 neu_padded 移動到實際使用位置(PR #29940),作者為 Hugging Face 的 Adrien Gallouët。該版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包,覆蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端;