llama.cpp 修復 f16 ADD_ADD 不穩定測試
llama.cpp 合併 PR #29904,通過改用融合 ADD 容差修復了 f16 精度下 ADD_ADD 測試偶發失敗的問題。該改動只涉及 CI 測試容差,不改變推理邏輯,但會隨下一次建置進入各平台發布包,包括 macOS Apple Silicon arm64、Ubuntu CUDA 12/13、Windows CUDA 12/13 等。
原標題:b11376
閱讀原文
| 評分 | 40 / 30(平均 35,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 為 Metal 加入 F16 KV 的 tensor API flash attention 核心
llama.cpp 合併 PR #29570,在 Metal 後端新增基於 tensor API 的 flash attention 核心,支援 F16 KV 快取。同一批提交還補充了 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等形狀的 tensor FA 核心,並支援 attention sinks、ALiBi 與 logit softcap。
llama.cpp 為 WebGPU 後端加入 f16 支援
llama.cpp 在 WebGPU 後端為 fill/set_rows 操作加入 f16 支援(PR #29897),併發布 b11382 版本。該版本覆蓋 macOS Apple Silicon、iOS、Linux、Android、Windows 等平台,其中 macOS Apple Silicon 的 KleidiAI 建置被停用。對使用 WebGPU 推理的使用者,f16 支援可減少視訊記憶體佔用並提升相容性。
llama.cpp 新增 nimble 決策模型支援
llama.cpp 合併 PR #29844,新增對 nimble 決策模型的支援。該版本覆蓋 macOS Apple Silicon(arm64)、Ubuntu、Windows、Android 等多平台建置,其中 macOS Apple Silicon 的 KleidiAI 加速版本被標記為 DISABLED。官方發布頁為 llama.app,建置證明見 GitHub attestations。
llama.cpp 修復圖重分配導致的排程中止
llama.cpp 合併 PR #29856,把 build_rs 中分散的 get_rows 合併為一次收集全部 n_rs 個 recurrent states,使預留空間按 n_rs 最大值計算,避免 ubatch 單元不連續時在節點數不變的情況下觸發圖重分配、進而在 GGML_SCHED_NO_REALLOC 下中止。
llama.cpp b11349 加 Vulkan 編譯日誌
llama.cpp 發布 b11349,新增 Vulkan 管線編譯問題的日誌輸出(#29794)。該版本提供 macOS/iOS、Linux、Android、Windows、openEuler 建置產物,涵蓋 Ubuntu x64/arm64/s390x CPU、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO、SYCL FP32/FP16,以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU。