找到 50 筆
llama.cpp 發布 b11555，修復了在支援 F16C 的 AVX2 CPU 上未啟用 F16C 的問題，可改善 x86 平台的 CPU 推理表現。同步更新的預編譯包覆蓋 macOS Apple Silicon、Windows 與 Linux 的 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO，以及 Android、openEuler 等平台；
清華 MADSys 實驗室與趨境科技提出 KTransformers-FineTune（KT-FT），讓 CPU 用主存中的權重直接完成 MoE 專家計算、GPU 只負責注意力，LoRA 微調吞吐達到 ZeRO-Offload 等解除安裝基線的 2.5～21.2 倍。該方案已作為執行後端接入 LlamaFactory，CPU 側用 AVX-512/AMX 指令集計算專家，支援微調與推理在同等硬體下一鍵執行。
llama.cpp 發布 b11786 建置，ggml-cpu 後端的 f32 gelu_quick 與 geglu_quick 改為不依賴 fp16 查表直接計算，同時保留 GGML_GELU_QUICK_FP16 表路徑，並新增 VXE 的 gelu_quick 路徑。該版本還為 f32 CPU 核心補充 test-gelu-quick 測試，並從其中移除 inf/nan 輸入。
llama.cpp 發布 b11731，ggml-cpu 後端將 ggml_v_silu 與 ggml_v_expf 向量化，提交者為 IBM 的 Aaron Teo，可加速 CPU 推理中的 SiLU 啟用與指數運算。該版本照例更新了各平台預編譯產物，覆蓋 CUDA 12/13、Vulkan、ROCm、SYCL、OpenVINO、Android 及 Windows arm64 等。
llama.cpp 發布建置 b11687，核心改動是重構 ggml-cpu 的 s309x repack 輔助函式（PR #30588）。同批預編譯產物覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 建置被標記為 DISABLED。
llama.cpp b11576 把無快取注意力路徑的 KV 維度填充到 256，修復了該路徑下 Flash Attention 回退 CPU 的問題。
llama.cpp 發布 b11720，ggml 的 SUM 運算新增非連續（non-contiguous）張量檢視支援，覆蓋 CPU、CUDA、Vulkan 與 WebGPU 四種後端，並補充了非連續檢視的測試用例。
NVIDIA Vera CPU 被 Nebius、Nscale、Verda 等歐洲 AI 雲服務商採用，用於搭建面向 agent 的基礎設施。Vera 承擔 agent 檢索資訊、執行程式碼與執行工具時的 CPU 計算，官方稱在同時執行數千個任務時仍能保持回應速度。Dell、HPE、Lenovo、Supermicro、Bull 將推出 Vera 系統；ClickHouse、SAP、Elastic 等稱早期測試中分析與 ETL 負載表現良好；
llama.cpp 合併 PR #27096，修復 ggml-cpu 後端 GGML_OP_SOFT_MAX_BACK 在 dst 與 src1（y）別名時輸出靜默錯誤的問題：原實現先覆蓋 y 再讀取，導致結果錯誤。補丁改為單次融合迴圈，先讀兩個輸入再寫出，並新增迴歸測試強制觸發該別名。CUDA 核心因先完成歸約再寫出，不受影響。
llama.cpp 的 ggml-cpu 後端在 x86 上為 tinyBLAS 增加了 BF16、FP16、FP32 的 K 尾部支援並做了向量化，同時讓 CPU 測試在啟用 use_ref 時跳過 tinyBLAS，以便與 vec_dot 路徑對比。改動以 PR #29806 合入，隨 b11398 建置發布，覆蓋 macOS、Linux、Windows、Android 等多平台 CPU 與 GPU 後端。
llama.cpp 合併 PR #30296，把 CPU 上的 AVX2 分塊累加器（tiled accumulators）歸併處理，用於最佳化 x86 CPU 推理，改動由 Codex 協助完成。同版本 b11688 放出多平台預編譯建置，覆蓋 macOS Apple Silicon 與 Intel、iOS、Linux、Windows、Android、openEuler，含 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端。
Whistle 是一個 16.9 MB 的單檔案端側語音識別模型，無依賴、在 CPU 上執行，與 Needle 共用同一套 C++ 引擎。它支援英語、德語、法語、西班牙語、義大利語、荷蘭語和波蘭語，單次最多處理 30 秒 16 kHz 單聲道音訊，可自動檢測語種，並輸出逐詞時間戳與語音嵌入。
llama.cpp 修復了 ggml-cpu 後端 SET_ROWS 運算元的多執行緒越界寫入問題：該運算元按 n_tasks=1 規劃，但每個執行緒都會執行並各自佔用 F16→F32 轉換緩衝區的一行，當計算圖中還有別的多執行緒運算元時，編號大於 0 的執行緒就會寫到工作緩衝區之外；修復方式是把 set_rows 併入 n_task=n_threads 的執行緒組。
Vx 是一門面向異構計算的系統程式語言，把 CPU、GPU、NPU 與加速器記憶體納入型別系統，主機執行緒解引用裝置指標會直接編譯報錯而非執行時崩潰。它要求跨記憶體空間的資料移動顯式呼叫 transfer()，並用機器檔案描述 H100、H200、B200、A100、MI300X、Apple M4 等真實硬體的記憶體層級與互連，編譯期據此接受或拒絕放置方案。
一名使用者為 Qwen3.8 27B 搭建 RAG 搜尋節點，在 AliExpress 購買迷你主機，商家標稱 Intel N150 與 DDR4/DDR5，實際發貨為 2018 年的 Core i3-7020U（2 核 4 執行緒）加 DDR3 1600MHz。賣家還把 New_N150 寫進 BIOS 版本字串偽裝型號。該主機效能不足以支撐向量檢索，使用者已發起信用卡拒付。
官方只支援 Windows 的 ASUS ProArt P16（128GB 記憶體版）已被裝上 Arch Linux ARM 並能正常使用。作者基於 NVIDIA 面向 Ubuntu 的核心工作，補齊 ACPI 覆蓋、hid-asus 鍵盤與音訊驅動，做出可啟動映象，並擴充套件 Archinstall 4.5 來安裝硬體支援；7-Zip 單執行緒成績與 Windows 基本持平，20 執行緒壓縮約領先 5%、解壓約領先 3%。
llama.cpp 合併 PR #29994，修復 CPU 後端在共享序列（seq_cp）場景下 k-pool 的散射寫入資料競爭：多個共享同一 cell 的序列會從不同 scatter 條目寫同一 rep 行。
llama.cpp 建置 b11523 為 WebGPU 後端補上 GGML_OP_DUP 運算元，修復了混合批處理路徑的崩潰。此前副本須在 CPU 生成、寫入卻排在 WebGPU，導致繫結 CPU 緩衝後崩潰；現在 DUP 與 CPY、CONT 走同一路徑。此版發布中啟用 KleidiAI 的 macOS Apple Silicon 建置被標為 DISABLED。
llama.cpp 發布建置 b11617，唯一程式碼變更是修復 Vulkan 後端的編譯錯誤（#30495）。該版本照例提供跨平台預編譯產物，涵蓋 macOS Apple Silicon 與 Intel、iOS XCFramework，Ubuntu x64/arm64 的 CPU、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO、SYCL，以及 Windows 的 CPU、Vulkan、CUDA、OpenCL Adreno 等組合。
ggml 修復了 CLAMP 運算元在非連續檢視上的定址錯誤，涉及 CPU 與 CUDA 後端。CUDA 此前按 ggml_nelements 做平坦處理、忽略檢視 stride，CPU 則把第 j 行按 j*nb01 定址、忽略 nb02/nb03；現在兩者都改為遵循 dims 1..3 的 stride，且 CUDA 的 supports_op 要求行連續，與 Metal 一致。
llama.cpp 發布 b11538 建置，修復 CUDA 後端的舍入問題，使 MSVC 下 CPU 與 GPU 的計算結果一致。本次發布包覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，其中 CUDA 12/13 預編譯包分別對應 CUDA 12.8 與 13.4 庫，Linux 與 Windows x64 另有 ROCm 10.0、OpenVINO、SYCL、Vulkan 建置，Snapdragon 平台提供 CPU、Adr…
llama.cpp 發布 b11748 建置，主要修復 SYCL 後端在重排後的量化權重上呼叫 get_rows 的問題（PR #30430）。該版本同時更新了多平台預編譯產物：macOS/iOS 的 XCFramework、Linux 與 Windows 的 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 建置，以及驍龍平台的 CPU、Adreno GPU 與 Hexagon NPU 支援。
llama.cpp 發布 b11750 建置，主要變更是修復 SYCL 後端程式碼的編譯警告，包括缺失的函式原型、死程式碼與多餘分號（#30271）。同時照例提供全平台預編譯包，覆蓋 macOS Apple Silicon、iOS XCFramework、Ubuntu 的 CPU/Vulkan/CUDA 12 與 CUDA 13/ROCm 10.0/OpenVINO/SYCL FP32 與 FP16 建置，以及 Android、Windows 的 CPU、CUDA、Vulkan…
llama.cpp 發布建置 b11690，common 模組中 ngram 快取的分片改為按引用讀取、不再複製，以減少複製。該版本給出的官網地址是 llama.app，預編譯產物覆蓋 macOS Apple Silicon 與 Intel、iOS XCFramework，Linux 的 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL，Android arm64 及 Snapdragon 的 CPU、Adreno GPU、Hexag…
llama.cpp 在 ggml-cpu 中撤銷 x86 上 FP16→FP32 的 F16C 內建轉換，恢復使用查詢表，只保留 FP32→FP16 走 F16C。此前 #30270 把兩種標量轉換都改為 F16C，但 Clang 20.1.8 會把該 intrinsic 編譯成 vpinsrw 合併進量化點積的活躍累加暫存器，導致迴圈序列化：估計每輪 19 週期對 4 週期，實測 Q8_0/Q4_0 的 MUL_MAT_ID 核心慢 45–65%。
llama.cpp 合併 PR #30100，修復 Metal 後端 MUL_MAT+ADD 融合中殘差運算元的選擇錯誤：當 ADD 的兩個運算元都是矩陣乘法輸出（x = W1@u + W2@v）時，舊邏輯會選中自身從未寫入的輸出緩衝區，導致結果錯誤。Clef 決策模型因此在 Metal 上機率趨近均勻，billing 輸出 0.28，而 CPU 後端為 0.977，且同一檔案在 CPU 上結果正確，說明並非量化問題。
Mistral 發布首個時間序列基礎模型家族 Timestral，最大的 209M 引數版本在 GIFT-Eval、TIME、fev-bench 三個公開基準上均排名第一，且引數量只有此前最優模型的三分之二。家族含 5M、28M、123M、209M 四個規模，支援機率與多變數預測、已知未來協變數，零樣本即可使用。推理無需 GPU，在 8 執行緒標準伺服器 CPU 上，用三週 15 分鐘粒度歷史預測未來一天，5M 耗時 10ms、209M 為 140ms；
llama.cpp 發布 b11662 版本（同步 ggml），預編譯建置提供 ROCm 10.0、CUDA 13（13.4 庫）以及驍龍平台的 CPU、Adreno GPU 與 Hexagon NPU 版本。
llama.cpp 發布 b11486 建置，Hexagon 後端的 GELU 啟用函式精度得到改進（#30104）。該版本繼續為驍龍平台提供 Hexagon NPU、Adreno GPU 與 CPU 三類後端，覆蓋 Linux arm64、Android arm64 與 Windows arm64。
llama.cpp 發布建置 b11511，主要修復 CUDA 後端 MMQ 的越界讀取問題（#29953）。該版本照常提供 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端建置，覆蓋 Linux、Windows、Android 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU。
llama.cpp 發布 b11364 版本，新增對 nimble 決策模型的支援（PR #29844）。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台，提供 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL、Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端建置；
llama.cpp 合併 PR #28479，為 SpacemiT X60 新增 Q8_0 的 IME1 矩陣核心與 repack 路徑。此前該平台 IME 加速只覆蓋 Q4_0/Q4_1/Q4_K，且建置時 GGML_CPU_REPACK=OFF，Q8_0 無加速路徑，prefill 比 Q4_0 慢約十倍。
llama.cpp 發布 b11346 版本，主要變更是修復 qwen4exp 的測試（#29819）。該版本為 macOS、iOS、Linux、Android、Windows 和 openEuler 提供預編譯包，覆蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端；
llama.cpp 發布 b11384 版本，官網為 llama.app，並附 GitHub 建置證明。該版本提供 macOS、iOS、Linux、Android、Windows 及 openEuler 的預編譯包，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。
llama.cpp 建置 b11701 加入 Beam (Reflection) 模型支援（PR #30670），官方站點為 llama.app。該版本同步釋出 macOS（Apple Silicon/Intel）、iOS、Linux、Windows、Android 與 openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU…
llama.cpp 發布 b11501 建置，主要變更是 SYCL 後端的 FWHT 最佳化（PR #29605）。該版本繼續提供 macOS/iOS、Linux、Windows、Android 與 openEuler 的預編譯包，覆蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU。
llama.cpp 發布新建置 b11681，為 MELLUM 架構加入精度處理（PR #30584）。該版本提供 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯包，涵蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、SYCL、OpenVINO 以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 後端。
llama.cpp 發布 b11706，修復 SYCL 後端在 Q4_0/Q8_0 權重重排後出現的 prompt 處理迴歸（#30374）。該版本同時更新各平台預編譯包，覆蓋 macOS、Linux、Windows、Android，含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO 與驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。
llama.cpp 新建置 b11696 修正了 Hexagon NPU 上 HMX 核心的 flash attention sink 計算，並把 sinks 做了向量化，提交由高通工程師 Max Krasnyansky 參與。該版本照例給出 macOS/iOS、Linux、Windows、Android、openEuler 的預編譯包，涵蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 等後端；
llama.cpp 發布建置 b11526，主要修復 Vulkan 後端 rms_norm 工作組數量溢位（#30145）。該版本繼續為 macOS/iOS、Linux、Windows、Android 與 openEuler 提供多後端建置，覆蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 以及驍龍平台的 Adreno GPU 與 Hexagon NPU；
llama.cpp 發布 b11462 建置，本次合併的主要改動是 SYCL 後端的 fattn_kv_buffers 清理（#27689）。該版本繼續提供 macOS/iOS、Linux、Android、Windows、openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL，以及驍龍平台的 CPU、Adreno GPU 與 Hexagon NPU。
llama.cpp 發布 b11382 版本，為 WebGPU 後端的 fill/set_rows 操作加入 f16 支援（PR #29897）。該版本同時更新了覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的多平台建置產物，包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU…
llama.cpp 發布建置 b11577，主要修復 vllm 的 d3 多序列用例（#30408），並留下一處 TODO。同一批建置覆蓋 macOS Apple Silicon 與 Intel、iOS XCFramework、Linux、Android、Windows 與 openEuler，後端含 CPU、Vulkan、CUDA 12（12.4 DLLs）與 CUDA 13（13.4 DLLs）、ROCm 10.0、OpenVINO 與 SYCL，Snapdragon 版…
llama.cpp 發布建置 b11627，ggml 為 mul_mat_id 補充了說明，並停用 mul_mat_id_dup 相關測試（#30501）。該版本照例提供 macOS、Linux、Windows、Android、openEuler 等平台預編譯包，覆蓋 CPU 以及 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO 等後端。
llama.cpp 發布 b11518，Metal 後端加入 128 與 96 兩檔 Flash Attention 核心，並接受所有已編譯的維度組合（#30209）。該版本同時提供 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯產物，覆蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、SYCL、OpenVINO 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU；
llama.cpp 建置 b11740 為 OpenCL 後端加入了 i32 型別的 GET_ROWS 行讀取，以及 i32 與 f32 之間的複製轉換（PR #30756）。這一版同時發布了 macOS（Apple Silicon/Intel）、iOS、Android、Windows、Linux 的預編譯包，覆蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端。
llama.cpp 發布 b11471 建置，主要變更是向詞表加入 Plamo 的 FIM（fill-in-the-middle）tokens，服務程式碼補全場景。該版本發布包覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，後端包含 CPU、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO、SYCL，以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU。
llama.cpp 發布 b11407 版本，修復了在開啟 -DGGML_VULKAN_RUN_TESTS=ON 時 Vulkan 後端出現的未宣告識別符號問題。該版本同步提供 macOS、Linux、Windows、Android 等多平台預編譯包，涵蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端。
llama.cpp 發布 b11572，新增對 vLLM d3 模型的支援（d2 同步更新），並加入 pplx-decider 模型支援，同時澄清命名規則、加強校驗。該版本照例提供 macOS/iOS、Linux、Windows、Android、openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。
llama.cpp b11436 修復 ggml-openvino 後端的 CI 測試失敗與多項 GPU 迴歸。上游 #29622 給輸入 embedding 圖加入混合 token/embd 分支，後端改為只從計算節點建置 OV 模型，並把同型別連續 DUP 按 CONT 翻譯以避免圖被拆分，修復了 CPU 與 GPU 上首個單 token decode 失敗；