找到 19 筆
llama.cpp 發布 b11810 建置，SYCL 後端把 FP16 與 FP32 的反量化開關合併為一項（#30740）。同一版本更新了多平台預編譯產物，涵蓋 macOS Apple Silicon 與 Intel、iOS XCFramework、Ubuntu 和 Windows 上的 CUDA 12/CUDA 13、Vulkan、ROCm 10.0、OpenVINO，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 建置。
llama.cpp 建置 b11761 修復了 ARM NEON 分支只選中 fp16→fp32、漏掉 fp32→fp16 的問題：此前該方向一直靜默回退到軟體實現，已定義的 fcvt 硬體指令無人呼叫。補丁讓該分支同時選中兩個方向，並加入 #error，任何定義了 COMPUTE 宏卻未選中對應實現的平台分支會直接編譯失敗。fp16→fp32 方向按 PR 30343 仍刻意走查表，因此保留 !defined(F16C) 例外；
llama.cpp 在 ggml-cpu 中撤銷 x86 上 FP16→FP32 的 F16C 內建轉換，恢復使用查詢表，只保留 FP32→FP16 走 F16C。此前 #30270 把兩種標量轉換都改為 F16C，但 Clang 20.1.8 會把該 intrinsic 編譯成 vpinsrw 合併進量化點積的活躍累加暫存器，導致迴圈序列化：估計每輪 19 週期對 4 週期，實測 Q8_0/Q4_0 的 MUL_MAT_ID 核心慢 45–65%。
llama.cpp 的 ggml-cpu 後端在 x86 上為 tinyBLAS 增加了 BF16、FP16、FP32 的 K 尾部支援並做了向量化，同時讓 CPU 測試在啟用 use_ref 時跳過 tinyBLAS，以便與 vec_dot 路徑對比。改動以 PR #29806 合入，隨 b11398 建置發布，覆蓋 macOS、Linux、Windows、Android 等多平台 CPU 與 GPU 後端。
llama.cpp 發布建置 b11460，SYCL 後端新增 IQ3_S 的多列 MMVQ 支援（PR #29500）。該版本繼續提供覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯包，其中 Ubuntu x64 與 Windows x64 包含 SYCL FP32、FP16 建置。
llama.cpp 發布 b11501 建置，主要變更是 SYCL 後端的 FWHT 最佳化（PR #29605）。該版本繼續提供 macOS/iOS、Linux、Windows、Android 與 openEuler 的預編譯包，覆蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU。
llama.cpp 建置版本 b11540 發布，核心變更是 SYCL 後端通過算術解碼與權重重排加速 MXFP4 MoE 模型推理（PR #29809）。該版本同時提供 macOS、Linux、Windows、Android 與 openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端；
llama.cpp 發布 b11515，主要變更是 SYCL 後端為 Q5_K 量化補上重排佈局的 MMVQ 核心，並加入融合 GLU（#29375），面向 Intel GPU 的量化推理。建置矩陣照舊覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端；
v0.40.5-rc1 為 MLX 後端新增 Nemotron 3.5 Super 模型支援。同一版本修復了 Nemotron 的層數推斷與分離式 MTP 量化問題，在保留舊別名的基礎上接受官方發布的層命名，並穩定 Mamba softplus、保留 FP32 視覺歸一化。
llama.cpp 合併 PR #29071，修復 SYCL 後端在 Flash Attention（FA）中混用不同型號 GPU 時出現的問題。改動位於 ggml/src/ggml-sycl/ggml-sycl.cpp，提交由 Georgi Gerganov 共同署名。該修復包含在版本 b11464 中，此版本同時提供 Ubuntu x64（SYCL FP32、FP16）與 Windows x64（SYCL）等建置。
llama.cpp 發布新建置 b11468，主要變更是將 cpp-httplib 升級到 0.60.0（#30081）。該版本同時提供 macOS/iOS、Linux、Windows、Android 與 openEuler 的預編譯產物，後端覆蓋 Apple Silicon arm64、CUDA 12.8 與 CUDA 13.4、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 CPU、Adreno GPU 與…
llama.cpp 發布建置 b11693，核心改動是修復 SYCL 後端在 mul_mat、split buffer 和 host pool 中的記憶體錯誤（PR #29889）。該版本同時更新了預編譯產物清單，覆蓋 macOS/iOS、Linux、Windows、Android，包含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO 以及 SYCL FP32/FP16 等後端。
llama.cpp 建置 b11493 為 SYCL 後端新增分組 MoE XMX GEMM 運算元（#29245），面向混合專家模型的矩陣乘加速。該版本同時放出全平台建置產物，覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 組合。
llama.cpp 發布 b11799 建置，新增 SYCL 後端的 q8 快速反量化（#30775），可提升 Intel GPU 上量化模型的推理效率。該版本同時提供 macOS、Linux、Windows、Android 的多平台預編譯包，涵蓋 CUDA 12、CUDA 13、ROCm 10.0、Vulkan、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 版本；SYCL 建置則分為 FP32 與 FP16 兩版。
llama.cpp 發布 b11750 建置，主要變更是修復 SYCL 後端程式碼的編譯警告，包括缺失的函式原型、死程式碼與多餘分號（#30271）。同時照例提供全平台預編譯包，覆蓋 macOS Apple Silicon、iOS XCFramework、Ubuntu 的 CPU/Vulkan/CUDA 12 與 CUDA 13/ROCm 10.0/OpenVINO/SYCL FP32 與 FP16 建置，以及 Android、Windows 的 CPU、CUDA、Vulkan…
llama.cpp 建置 b11685 合入 #29696，為 SYCL 後端在 q4_K/q5_K 權重的反量化中加入寬儲存（wide stores），以提升該後端上的推理效率。該版本照常覆蓋 macOS/iOS、Linux、Android 與 Windows，含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16 以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等建置。
v0.40.4-rc1 為 MLX 加入 Kev 決策打分（decision scoring）。這一候選版本支援按 FP32 決策頭與發布後設資料載入 Kev 模型，並提供 System One 打分，配套共享狀態快取與 Kev 專屬限制（PR #18976）。該標籤由 dhiltgen 於 10 月 13 日打上，commit 665f9e0 帶 GitHub 驗證簽名。
llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體，把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB，262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變，僅分數因 fp32 舍入有差異；有使用者反饋解碼速度約降 10%。
llama.cpp 建置 b11730 調整 CUDA 後端 MMQ 的 Stream-K 排程：網格上限從按 SM 數量啟動改為實際 k-block 數量，並進一步按所有輸出 tile 的 K_vram 迭代總數（部分迭代向上取整）收緊。這能去掉小矩陣下無活可乾的多餘 CUDA 塊及其啟動與 fixup 開銷，有效取整 K 範圍與數值結果不變。代價是部分迭代可能改變 FP32 求和的分組方式，MUL_MAT 與 MUL_MAT_ID 後端測試已在 RTX 5090 上通過。