搜尋

依意思最接近的 3 筆

llama.cpp releases10/4 13:49AI 評分35

llama.cpp 發布 b11396 版本，Windows LLVM 建置需 Ninja 多配置

llama.cpp 發布 b11396 版本，主要變更是 Windows 平台的 LLVM 建置需要 Ninja 多配置（#29959）。該版本提供覆蓋 macOS、Linux、Windows、Android 和 openEuler 的預編譯產物，包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端，其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 被標記為…

地端推論開源 llama.cpp 建置發布跨平台 CUDA Vulkan

閱讀原文

llama.cpp releases● 精選10/5 01:29AI 評分60

llama.cpp 為 Metal 加入少行 MMA 矩陣乘核心

llama.cpp 合併 PR #29869，為 Metal 後端新增支援 2 到 16 行 src1 的 mat-mul 核心，用於加速投機解碼中的少行矩陣乘。此前 Metal 在無 tensor API 時用 mat-vec 核心處理這些運算，耗時隨 src1 行數增長，導致 M3 Ultra 上 DFlash2 解碼慢於序列解碼。

地端推論開源 llama.cpp Metal MMA 投機解碼 Apple Silicon

1 個來源 · 2 則報導閱讀原文

llama.cpp releases10/4 10:43AI 評分30

llama.cpp 發布 b11392 建置，CI 預設權限調整

llama.cpp 發布 b11392 版本，主要變更是 CI 設定預設權限（#29945）。該版本提供覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯產物，包括 Apple Silicon arm64、CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 等後端；

地端推論開源 llama.cpp 版本更新本地推理跨平台建置

閱讀原文