AISpot

llama.cpp 新增 Prism Bonsai 2 27B 執行時支援

llama.cpp releases版本更新地端推論開源

llama.cpp 建置版本 b11556 新增對 Prism Bonsai 2 27B 的執行時支援,改動以 PR #29600 合入,共同署名者包括專案作者 Georgi Gerganov。該 PR 還包含把 Hadamard 張量移入方法、定義摺疊權重、修復 load_* Hadamard 載入,以及轉換器介面整理和程式碼清理,其中多處提交標註由 Claude Code 協助完成。

llama.cpp 新增對 Prism Bonsai 2 27B 的執行時支援,並同步修復 Hadamard 權重載入與轉換流程,對在本地用 llama.cpp 跑新模型的人最直接。

原標題:b11556
閱讀原文

評分60 / 65(平均 62,門檻 60)
狀態精選

全文翻譯

模型:支援 Prism Bonsai 2 27B ( #29600 ) - Prism Bonsai 2 27B 的執行時支援 - 協助者:Claude Code - 處理 prism hadamard 執行時反饋 - 將 hadamard 張量移入方法,定義摺疊權重 - load_* hadamard 修復 - cont : 清理 - 轉換清理 - 協助者:Claude Code - 用於轉換器的 prism hadamard 鍵和方法 - 協助者:Claude Code - 處理審查機器人反饋 - 協助者:Claude Code - 共同作者:Georgi Gerganov [email protected] - 網站: - https://llama.app - 認證: - https://github.com/ggml-org/llama.cpp/attestations/54799696 - macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI enabled) 已停用 - macOS Intel (x64) - iOS XCFramework - Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 庫 - Ubuntu x64 (CUDA 13) - CUDA 13.4 庫 - Ubuntu arm64 (CUDA 13) - CUDA 13.4 庫 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 設定指南 - Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 設定指南 - Windows: - Windows x64 (CPU) - Windows arm64 (CPU) - Windows arm64 (OpenCL Adreno) - Windows x64 (CUDA 12) - CUDA 12.4 DLLs - Windows x64 (CUDA 13) - CUDA 13.4 DLLs - Windows arm64 (CUDA 13) - CUDA 13.4 DLLs - Windows x64 (Vulkan) - Windows arm64 (Vulkan) - Windows x64 (OpenVINO) - Windows x64 (SYCL) - Windows x64 (ROCm 10.0) - openEuler: - 已停用 - openEuler x86 (310p) - openEuler x86 (910b, ACL Graph) - openEuler aarch64 (310p) - openEuler aarch64 (910b, ACL Graph) - UI: - UI

由 AI 翻譯,以原文為準。

原文
model : support for Prism Bonsai 2 27B ( #29600 ) Runtime support for Prism Bonsai 2 27B Assisted-by: Claude Code address prism hadamard runtime feedback move hadamard tensors into method, define folded weight load_* hadamard fixes cont : clean-up conversion cleanup Assisted-by: Claude Code prism hadamard key and methods for converter Assisted-by: Claude Code address review bot feedback Assisted-by: Claude Code Co-authored-by: Georgi Gerganov [email protected] Website: https://llama.app Attestations: https://github.com/ggml-org/llama.cpp/attestations/54799696 macOS/iOS: macOS Apple Silicon (arm64) macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED macOS Intel (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries Ubuntu x64 (CUDA 13) - CUDA 13.4 libraries Ubuntu arm64 (CUDA 13) - CUDA 13.4 libraries Ubuntu x64 (ROCm 10.0) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP32) Ubuntu x64 (SYCL FP16) Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Android: Android arm64 (CPU) Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Windows: Windows x64 (CPU) Windows arm64 (CPU) Windows arm64 (OpenCL Adreno) Windows x64 (CUDA 12) - CUDA 12.4 DLLs Windows x64 (CUDA 13) - CUDA 13.4 DLLs Windows arm64 (CUDA 13) - CUDA 13.4 DLLs Windows x64 (Vulkan) Windows arm64 (Vulkan) Windows x64 (OpenVINO) Windows x64 (SYCL) Windows x64 (ROCm 10.0) openEuler: DISABLED openEuler x86 (310p) openEuler x86 (910b, ACL Graph) openEuler aarch64 (310p) openEuler aarch64 (910b, ACL Graph) UI: UI

相關報導

llama.cpp releasesAI 評分35

llama.cpp 發布 b11396 版本,Windows LLVM 建置需 Ninja 多配置

llama.cpp 發布 b11396 版本,主要變更是 Windows 平台的 LLVM 建置需要 Ninja 多配置(#29959)。該版本提供覆蓋 macOS、Linux、Windows、Android 和 openEuler 的預編譯產物,包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端,其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 被標記為…

llama.cpp releasesAI 評分42

llama.cpp 發布 b11461,修復 AMD 核顯 Vulkan 檢查點讀取慢

llama.cpp 發布 b11461,主要改動是修復 AMD 整合顯示卡在 Vulkan 後端下檢查點(checkpoint)讀取過慢的問題,對應 PR #30049。該版本同時更新了 macOS/iOS、Linux、Android、Windows、openEuler 的預編譯包,覆蓋 Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL,以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 後端。