AISpot

llama.cpp b11860 修復大 n_batch 下的上下文測試

llama.cpp releases版本更新地端推論開源

llama.cpp 發布 b11860 版本,唯一的程式碼變更是修復 test-llama-context 在大 n_batch 下的失敗(#31083)。該版本同時提供各平台預編譯包:macOS 有 Apple Silicon(其中 KleidiAI 版被停用)與 Intel 版,另有 iOS XCFramework;

原標題:b11860
閱讀原文

評分42 / 35(平均 38,門檻 60)
狀態未入選

原文

tests : fix test-llama-context for large n_batch ( #31083 ) Website: https://llama.app Attestations: https://github.com/ggml-org/llama.cpp/attestations/59459673 macOS/iOS: macOS Apple Silicon (arm64) macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED macOS Intel (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries Ubuntu x64 (CUDA 13) - CUDA 13.4 libraries Ubuntu arm64 (CUDA 13) - CUDA 13.4 libraries Ubuntu x64 (ROCm 10.0) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP32) Ubuntu x64 (SYCL FP16) Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Android: Android arm64 (CPU) Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Windows: Windows x64 (CPU) Windows arm64 (CPU) Windows arm64 (OpenCL Adreno) Windows x64 (CUDA 12) - CUDA 12.4 DLLs Windows x64 (CUDA 13) - CUDA 13.4 DLLs Windows arm64 (CUDA 13) - CUDA 13.4 DLLs Windows x64 (Vulkan) Windows arm64 (Vulkan) Windows x64 (OpenVINO) Windows x64 (SYCL) Windows x64 (ROCm 10.0) openEuler: DISABLED openEuler x86 (310p) openEuler x86 (910b, ACL Graph) openEuler aarch64 (310p) openEuler aarch64 (910b, ACL Graph) UI: UI

相關報導

llama.cpp releasesAI 評分32

llama.cpp 發布 b11887,調整上下文測試預設執行緒數

llama.cpp 發布 b11887,主要變更是調整 test-llama-context 的預設執行緒數(PR #31157)。同版本仍按慣例給出各平台預編譯產物:macOS Apple Silicon(arm64)、macOS Intel、Linux(CUDA 12、CUDA 13、ROCm 10.0、Vulkan、SYCL、OpenVINO)、Windows x64 與 arm64、Android arm64,以及 openEuler 昇騰 910b 的 ACL Gra…

llama.cpp releasesAI 評分20

llama.cpp 修復 server 因 n_batch 超限導致的 abort

llama.cpp 合併 PR #29903,通過將 n_batch 限制為不超過 n_ubatch 來修復 server 崩潰問題,對應 issue #29902。該修復由 Claude 輔助完成,並移除了相關測試與 embeddings 條件。新版本已覆蓋 macOS、Linux、Windows、Android 等平台,包括 Apple Silicon、CUDA、ROCm、Vulkan 等後端。

llama.cpp releasesAI 評分35

llama.cpp 發布 b11396 版本,Windows LLVM 建置需 Ninja 多配置

llama.cpp 發布 b11396 版本,主要變更是 Windows 平台的 LLVM 建置需要 Ninja 多配置(#29959)。該版本提供覆蓋 macOS、Linux、Windows、Android 和 openEuler 的預編譯產物,包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端,其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 被標記為…