X @ggerganovAI 評分52
Llama Mac 應用新增 llama.cpp REST API 請求建置器
llama.cpp 作者 Georgi Gerganov 宣布，Mac 版 Llama 應用現已內建一個簡易的請求建置器，用於呼叫 llama.cpp 的 REST API。該功能面向在本地執行 llama.cpp 的使用者，可在圖形介面中直接構造併傳送 API 請求，無需手動編寫請求程式碼。
搜尋
找到 50 筆
llama.cpp releasesAI 評分40
llama.cpp b11535 發布，llama-bench 現遵循 -fitc
llama.cpp 發布每日建置 b11535，主要變更是 llama-bench 現在會遵循 -fitc 引數，即使該值大於基準測試所需尺寸也按使用者設定執行（PR #28331）。
llama.cpp releasesAI 評分36
llama.cpp b11570：測試改為只連結各自所需的庫
llama.cpp 建置 b11570 調整測試連結方式，llama_build() 與 llama_build_and_test() 新增 LINK 關鍵字（預設 llama-common），呼叫處可宣告測試真正需要的庫。
llama.cpp releasesAI 評分29
llama.cpp 把三項上下文狀態測試合併為單個二進位制 test-llama-context
llama.cpp 建置 b11596 將 test-save-load-state、test-recurrent-state-rollback、test-state-restore-fragmented 三項上下文狀態測試合併為單一二進位制 test-llama-context，一次執行覆蓋 130 多個模型。
X @ggerganov● 精選AI 評分69
llama.cpp 首日支援 EmbeddingGemma 2
llama.cpp 已實現對 EmbeddingGemma 2 的 Day-0 支援，由作者 ggerganov 公布。對應 GGUF 權重由 ggml-org 發布在 Hugging Face，可直接下載用於本地推理。Day-0 意味著模型發布當天即可在 llama.cpp 上執行，無需等待社群自行轉換。
X @ggerganov● 精選AI 評分80
llama.cpp 新增 Decision 模型支援
llama.cpp 最新建置已加入 Decision 模型支援，新增 /v1/systemone 端點，可在本地進行 Jev 風格推理，兼顧效率與隱私。目前支援多個開源模型，官方表示後續還會增加更多模型。
llama.cpp releasesAI 評分27
llama.cpp 修復預設白名單中失效的 LLAMA_ARG_HF_REPO_FILE 鍵
llama.cpp 發布 b11385 版本，修復了預設允許列表中失效的 LLAMA_ARG_HF_REPO_FILE 鍵（#29938）。該版本繼續為 macOS、Linux、Windows、Android 等平台提供建置，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端，其中 macOS Apple Silicon 的 KleidiAI 啟用版與 openEuler 建置被標記為 DISABLED…
X @ggerganovAI 評分45
llama.cpp 登上 Windows 活動舞臺，作者期待本地 AI 普及
llama.cpp 作者 Georgi Gerganov（@ggerganov）稱，llama.cpp 出現在了 10 月 7 日 Windows 活動的主舞臺上。他表示軟體與硬體棧終於走到一起，社群過去多年的努力得到體現，並期待更多使用者擁抱本地 AI。推文未說明該活動的具體內容，也未提及 llama.cpp 在其中的展示形式。
r/LocalLLaMA top of the dayAI 評分65
llama.cpp 新 PR 將共享專家融合進 MMVQ，部分 MoE 架構提速
llama.cpp 的 PR #29184 提出在 CUDA 後端把共享專家融合進 MMVQ，為部分 MoE 架構帶來提速，例如 Qwen 35B A3B。有評論稱該改動使 TG 速度提升約 5%，並指出僅對部分 MoE 架構有效。
Ollama releasesAI 評分59
llama.cpp v0.40.0-rc0 準備移除相容補丁
llama.cpp 發布 v0.40.0-rc0，核心是為 llama-server 移除相容補丁做準備。該版本引入 manifest-list 儲存，讓不同 runner 的 manifest 共存於同一 tag，並保留 v1 tag 作為降級錨點；同時為舊版 Ollama GGUF 加入惰性本地相容遷移，轉為 llama.cpp 相容子模型，覆蓋已修補的模型家族，並保留解析器/渲染器、模板、投影器、媒體後設資料、分片 GGUF 及 MTP/draft 張量。
llama.cpp releasesAI 評分37
llama.cpp 發布 b11390，修復 CUDA MMQ 記憶體錯誤
llama.cpp 發布建置版本 b11390，主要修復了 CUDA 後端在 n_expert 遠大於 n_ubatch 時的 MMQ 記憶體故障（#29941）。
llama.cpp releasesAI 評分43
llama.cpp 發布 b11451，修復 Adreno xmem GEMM 越界讀取
llama.cpp 發布 b11451 建置，主要變更是修復 OpenCL 後端在 Adreno GPU 上 xmem GEMM 的越界讀取（OOB read）問題，對應 PR #30041。
llama.cpp releasesAI 評分43
llama.cpp b11446 修復 Metal 量化 flash attention 執行緒組記憶體超額
llama.cpp 發布 b11446，Metal 後端修復量化 flash attention 中 threadgroup memory 超額佔用的問題，對應 PR #29340。
llama.cpp releasesAI 評分50
b11477: llama: share the nextn tensor flags between models (#30097)
llama.cpp 把此前各模型各自複製的 nextn 張量檢測邏輯，統一提取為 llama_model_base 的 nextn_flags 輔助函式：探測第一個 trunk 層和第一個 NextN 層，並在未載入 MTP 時加上 TENSOR_SKIP。
llama.cpp releasesAI 評分33
llama.cpp 發布 b11438，動態後端需顯式載入
llama.cpp 發布 b11438，主要變更是 test-llama-archs 在生成模型前先初始化後端（#30034）：開啟 GGML_BACKEND_DL 時，必須先顯式載入後端才能建立模型。
llama.cpp releases● 精選AI 評分74
llama.cpp 合併 K2 Horizon 支援，修復 Windows GGUF 無法載入
llama.cpp 合併了 K2 Horizon 稠密模型與 MoVA 支援，包含 GGUF 轉換、計算圖、tokenizer、chat template，以及推理與工具呼叫。
llama.cpp releasesAI 評分37
llama.cpp 發布 b11402，CUDA 後端改用整塊 FlashAttention 排程
llama.cpp 發布 b11402 版本，CUDA 後端改為優先採用整塊（whole-tile）FlashAttention 排程，以提升兩階段核心效率。
llama.cpp releasesAI 評分31
llama.cpp 新增 common_is_tty() 並修復 Windows 棄用警告
llama.cpp 合併 PR #29860，新增 common_is_tty() 輔助函式並修復 Windows 上的棄用警告，由 Hugging Face 的 Adrien Gallouët 提交。
llama.cpp releasesAI 評分39
llama.cpp b11621：Adreno 上 MoE expert sort 改用 buf+offset
llama.cpp 發布 b11621 建置，OpenCL 後端把 Adreno GPU 上的 MoE expert sort 從 subbuffer 改為 buf+offset（#30418），涉及驍龍 Adreno 跑 MoE 模型的推理路徑。
llama.cpp releasesAI 評分31
llama.cpp b11598 為 laguna 模型載入 YaRN beta 後設資料
llama.cpp 發布 b11598 建置，主要變更是為 laguna 系列模型載入 YaRN beta 後設資料（#30331），該提交由 Codex 協助完成。
llama.cpp releasesAI 評分41
llama.cpp 發布 b11467，imatrix 補上 clocale 標頭檔案
llama.cpp 發布建置版本 b11467，唯一程式碼改動是在 imatrix 中為 std::setlocale 引入 clocale 標頭檔案（#30079），屬於編譯相容性修復。
llama.cpp releasesAI 評分43
llama.cpp 更新：Qwen3.8 Flash Next 支援影像嵌入用於 MTP
llama.cpp 發布 b11588 建置，讓 Qwen3.8 Flash Next 模型可以接受影像嵌入（image embds）用於 MTP，該改動延續 #30257 並關閉 #30307。
llama.cpp releasesAI 評分42
llama.cpp 發布 b11514 建置，修復 Musa FWHT 並停用 KleidiAI 版 macOS 包
llama.cpp 發布 b11514 滾動建置，主要修復 Musa 後端的 FWHT 問題（#30167）；同時 macOS Apple Silicon 的 KleidiAI 加速建置與 openEuler 建置被標記為 DISABLED。
llama.cpp releasesAI 評分20
llama.cpp 發布 b11384 版本，覆蓋多平台預編譯包
llama.cpp 發布 b11384 版本，官網為 llama.app，並附 GitHub 建置證明。該版本提供 macOS、iOS、Linux、Android、Windows 及 openEuler 的預編譯包，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。
llama.cpp releasesAI 評分40
llama.cpp 發布 b11500，修復 hex-mmadd 融合偏置的讀寫對齊假設
llama.cpp 建置版本 b11500 發布，主要變更是 hex-mmadd 在融合 bias-add 時不再假設讀寫記憶體對齊（#30133）。
llama.cpp releases● 精選AI 評分66
llama.cpp b11418：server 支援 Clef 視覺輸入
llama.cpp 發布建置 b11418，其 server 新增對 Clef 的視覺輸入支援（PR #29969），並修復影像 token 上限、abort 與 yield_to_queue 資料變更等問題。
llama.cpp releasesAI 評分42
llama.cpp b11524：MUSA 預設架構移除 mp_21
llama.cpp 建置 b11524 把 mp_21 從 MUSA 後端的預設架構列表中移除（PR #30203）。該提交由 mthreads.com 的 Xiaodong Ye 署名，並經過多輪 review 意見修改；
llama.cpp releasesAI 評分43
llama.cpp 更新：ModernBERT 編碼器改用精確 GELU
llama.cpp 發布 b11532 建置，ModernBERT 編碼器改用精確 GELU（exact GELU），替代此前的近似實現；同時保留 ggml_geglu 上的 tanh GELU 別名，並把 gelu_python 對映到 ggml_geglu_erf。
llama.cpp releasesAI 評分46
llama.cpp 將無快取注意力的 KV 維度填充到 256，修復 Flash Attention 回退 CPU
llama.cpp b11576 把無快取注意力路徑的 KV 維度填充到 256，修復了該路徑下 Flash Attention 回退 CPU 的問題。
llama.cpp releasesAI 評分16
llama.cpp 發布 b11391 版本，CUDA 程式碼小幅調整
llama.cpp 發布 b11391 建置版本，唯一程式碼改動是將 CUDA 後端的 blocks_per_col 變數移到實際使用位置（PR #29939），由 Hugging Face 的 Adrien Gallouët 提交。
llama.cpp releasesAI 評分40
llama.cpp b11469 發布，MUSA 後端改用 tile lightning indexer kernel
llama.cpp 發布 b11469 建置，其中 MUSA 後端改為使用 tile lightning indexer kernel（PR #30080），提交者為摩爾線程（mthreads.com）的 Xiaodong Ye。MUSA 是摩爾線程 GPU 的計算平台，這一改動面向在該平台上執行 llama.cpp 的使用者。
llama.cpp releasesAI 評分41
llama.cpp b11496：SYCL 模型載入改用 pinned ring buffer
llama.cpp 發布 b11496，SYCL 後端的模型載入（bulk uploads）改為通過 pinned ring buffer 分階段上傳（PR #29608），主要影響使用 Intel SYCL 後端的使用者。
llama.cpp releasesAI 評分42
llama.cpp b11527：WebGPU 運算元全部改用 2D workgroup 派發
llama.cpp 發布建置 b11527（PR #30219），WebGPU 後端移除 1D workgroup 派發，所有原本使用 1D 派發的運算元（如 rms_norm）統一改為 2D workgroup dispatch。
X @ggerganovAI 評分62
llama.cpp 借 ggml RPC 後端實現異構裝置分散式推理
llama.cpp 現在可以通過 ggml RPC 後端，把推理任務分散到異構裝置上共同完成，即同一次推理可由不同型別的硬體一起承擔。llama.cpp 作者 Georgi Gerganov 說明，這一能力目前仍是進階設定，但會隨時間逐步降低使用門檻，讓普通使用者也能用上。原文未給出支援的具體硬體組合、效能表現或可用版本。
r/LocalLLaMA top of the dayAI 評分70
llama.cpp 新 PR 將 Qwen4 索引器視訊記憶體減半
llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體，把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB，262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變，僅分數因 fp32 舍入有差異；有使用者反饋解碼速度約降 10%。
llama.cpp releasesAI 評分46
llama.cpp b11603 最佳化 Vulkan 大視窗 pool_2d
llama.cpp 發布 b11603，重點最佳化 Vulkan 後端的 pool_2d：當池化視窗大於一個 subgroup 時，改用一個完整 subgroup 計算每個輸出，以提升大視窗下的池化效能。
llama.cpp releasesAI 評分42
llama.cpp b11443 合併各模型的 nextn 行裁剪邏輯
llama.cpp 發布 b11443 建置，其中提交 #30017 把各模型重複的 nextn 行裁剪邏輯合併為 llm_graph_context 上的 crop_before_nextn() 與 crop_after_nextn() 兩個共享 helper。
llama.cpp releasesAI 評分39
llama.cpp b11602：arena 重新分配時重建全部 subgraph
llama.cpp 發布 b11602 建置，核心改動是當 arena 被重新分配時重建全部 subgraph（#30453），同一提交還回退了此前新增的測試用例。
llama.cpp releasesAI 評分41
llama.cpp b11486 改進 Hexagon 後端 GELU 精度
llama.cpp 發布 b11486 建置，Hexagon 後端的 GELU 啟用函式精度得到改進（#30104）。該版本繼續為驍龍平台提供 Hexagon NPU、Adreno GPU 與 CPU 三類後端，覆蓋 Linux arm64、Android arm64 與 Windows arm64。
llama.cpp releasesAI 評分42
llama.cpp b11494：CUDA 的 GDN 狀態列預設改為每 warp 4 列
llama.cpp 發布 b11494，ggml-cuda 將 GDN 狀態列數（cols_per_warp）的預設值定為 4，此前該值經歷每 warp 2 列與 4 列的調整，並在 S_v=128 時使用 4 列。
llama.cpp releasesAI 評分42
llama.cpp 修復截斷後溫度大於 0 時 n-gram 草稿被拒的問題
llama.cpp 發布 b11387 版本，修復了在截斷後溫度大於 0 時 n-gram 草稿被拒絕的問題（PR #29924），由 NVIDIA 的 Pranesh Gonegandla 參與提交。
llama.cpp releasesAI 評分41
llama.cpp 為 zdnn 後端加入 Q8_0 矩陣乘法原型
llama.cpp 建置 b11582 引入 ggml-zdnn 的 Q8_0 矩陣乘法原型，由 IBM 的 Aaron Teo 提交，並同步更新了 zdnn 文件。zdnn 面向 IBM Z（s390x）平台，目前這一支援仍屬初步原型。
llama.cpp releasesAI 評分38
llama.cpp b11511 修復 CUDA MMQ 越界讀取
llama.cpp 發布建置 b11511，主要修復 CUDA 後端 MMQ 的越界讀取問題（#29953）。該版本照常提供 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端建置，覆蓋 Linux、Windows、Android 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU。
llama.cpp releasesAI 評分42
llama.cpp 發布 b11450：RPC 新增 -sm tensor 選項
llama.cpp 發布 b11450，RPC 後端新增 -sm tensor 選項（#26610），支援在 RPC 場景下按 tensor 拆分模型。該版本還修復 Apple RDMA 的 flush 問題，把 graph_uids 移入 rpc_dispatcher，停止 dispatcher 執行緒空轉，並提升 RPC 主版本號。
llama.cpp releasesAI 評分36
llama.cpp b11414 修復 Vulkan 後端 flash attention 與 soft_max 複用問…
llama.cpp 發布建置 b11414，本版列出的程式碼改動是 Vulkan 後端修復 prealloc_y 在 flash attention 與 soft_max 之間複用時殘留舊資料的問題（PR #29591），提交標註 Assisted-by: Claude。
llama.cpp releasesAI 評分37
llama.cpp b11460：SYCL 後端新增 IQ3_S 多列 MMVQ
llama.cpp 發布建置 b11460，SYCL 後端新增 IQ3_S 的多列 MMVQ 支援（PR #29500）。該版本繼續提供覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯包，其中 Ubuntu x64 與 Windows x64 包含 SYCL FP32、FP16 建置。
llama.cpp releases● 精選AI 評分62
llama.cpp b11455 新增 PLaMo-3 分詞器預切分
llama.cpp 建置 b11455 新增 vocab 型別 plamo3，實現 PLaMo-3 分詞器的預切分。它在 Unigram DP 前插入硬邊界，針對形如 <|plamo:...|> 的文字，以及連續至少 4 個相同字元或 2 個空格的片段；否則 llama.cpp 對程式碼縮排和重複標點的分詞會與參考實現不同。
llama.cpp releasesAI 評分53
llama.cpp 修復特殊 token 轉義導致的 server 崩潰
llama.cpp 修復了 llama-server 在轉義特殊 token 時會被單個請求打崩的棧溢位問題。此前 d1-omni 與 kev 兩個 prompt 用 std::regex_replace 處理請求文字里的 "<|name|>"，libstdc++ 會按名字的每個字元遞迴，輸入 "<|" 加 30000 個字母即可撐爆 HTTP 執行緒棧，程序以 SIGSEGV 退出。
llama.cpp releasesAI 評分40
llama.cpp 新增 nimble 決策模型支援
llama.cpp 發布 b11364 版本，新增對 nimble 決策模型的支援（PR #29844）。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台，提供 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL、Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端建置；
llama.cpp releasesAI 評分48
llama.cpp 修復 Metal 大張量 kernel_mul_mm 報錯
llama.cpp 發布 b11575 建置，修復 Metal 後端在大張量上 kernel_mul_mm 核心報錯的問題，改動位於 ggml/src/ggml-metal/kernels/mul_mm.metal。該修復由 Codex 輔助完成，影響在 Apple Silicon 上通過 Metal 做推理的使用者。