搜尋

依意思最接近的 30 筆

Simon Willison10/6 22:32AI 評分63

llm-mistral 0.16 發布，新增支援 Mistral Large 4 等推理模型

Simon Willison 發布 LLM 外掛 llm-mistral 0.16，新增對推理模型的支援，包括新發布的 Mistral Large 4。該外掛通過 Mistral API 提供對 Mistral 模型的訪問，屬於 LLM 外掛生態的一部分。發布日期為 2026 年 10 月 6 日。

開發工具開源 LLM 外掛 Mistral API 推理模型 Mistral Large 4 版本更新

5 個來源 · 10 則報導閱讀原文

X @ggerganov● 精選10/6 17:49AI 評分69

llama.cpp 首日支援 EmbeddingGemma 2

llama.cpp 已實現對 EmbeddingGemma 2 的 Day-0 支援，由作者 ggerganov 公布。對應 GGUF 權重由 ggml-org 發布在 Hugging Face，可直接下載用於本地推理。Day-0 意味著模型發布當天即可在 llama.cpp 上執行，無需等待社群自行轉換。

地端推論開源 llama.cpp EmbeddingGemma GGUF 嵌入模型 Day-0 支援

8 個來源 · 12 則報導閱讀原文

llama.cpp releases10/4 09:06AI 評分20

llama.cpp 發布 b11384 版本，覆蓋多平台預編譯包

llama.cpp 發布 b11384 版本，官網為 llama.app，並附 GitHub 建置證明。該版本提供 macOS、iOS、Linux、Android、Windows 及 openEuler 的預編譯包，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。

地端推論開源 llama.cpp 版本發布跨平台建置 CUDA Vulkan

llama.cpp releases● 精選10/5 17:58AI 評分82

llama.cpp v0.6.0 發布：新增擴充套件 batch API 與 GLM-5.3-Flash 支援

llama.cpp 發布 v0.6.0，新增 llama_batch_ext 擴充套件 batch API，支援混合 token/embedding 輸入與 MTP、deepstack 狀態嵌入。本次加入 320B 的 GLM-5.3-Flash（GLM5-Next）文字+視覺混合模型、Clef 決策模型，以及 Qwen4Exp 的 MTP 投機解碼，官方稱在 DGX Spark 上解碼約快 1.5 倍。

模型開發工具 llama.cpp GLM-5.3-Flash MTP 投機解碼 Metal 多模態

2 個來源 · 3 則報導閱讀原文

llama.cpp releases10/3 00:57AI 評分25

llama.cpp 伺服器新增 /v1/systemone API，支援 laya、julia-1 等模型

llama.cpp 的 server 元件新增了 /v1/systemone API，支援 laya、julia-1、lev、openjev、kev 五個模型。該 PR 包含模型轉換、服務端程式碼、共享提示字首、視覺支援，並新增 openjev tiny 模型用於測試。建置覆蓋 macOS、Linux、Windows、Android 等平台，但明確不支援 date_facts。

開發工具地端推論 llama.cpp /v1/systemone 本地推理模型轉換開源

2 個來源 · 2 則報導閱讀原文

llama.cpp releases10/3 02:06AI 評分40

llama.cpp 新增 nimble 決策模型支援

llama.cpp 發布 b11364 版本，新增對 nimble 決策模型的支援（PR #29844）。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台，提供 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL、Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端建置；

地端推論開源 llama.cpp 推理引擎跨平台建置本地推理

X @ggerganov● 精選10/5 20:24AI 評分77

@ggerganov: The new v0.6.0 release packs a lot of good stuff:

llama.cpp 發布 v0.6.0，作者 ggerganov 列出了這一版的主要更新：新增 Clef 支援，涵蓋文字與視覺；對 Qwen3.8-Flash-Next 提供高品質支援；Metal 後端效能大幅提升；並引入新的 llama_batch_ext API。配套官網也完成改版，地址為 llama.app。原文未給出各項改動的具體效能數字。

地端推論開源 llama.cpp Metal Qwen 本地推理開源

2 個來源 · 3 則報導閱讀原文

llama.cpp releases10/3 09:36AI 評分43

llama.cpp 新增 clef 決策模型純文字支援

llama.cpp 合併 PR #29831，為 clef 決策模型加入初始支援，目前僅限純文字輸入。該改動同時更新了 gguf-py 常量並清理了靜態圖相關程式碼，隨附的建置產物覆蓋 macOS、Linux、Windows、Android 與 openEuler 等多個平台。

地端推論開源 llama.cpp GGUF clef 本地推理

1 個來源 · 2 則報導閱讀原文

X @ggerganov● 精選10/2 15:33AI 評分80

llama.cpp 新增 Decision 模型支援

llama.cpp 最新建置已加入 Decision 模型支援，新增 /v1/systemone 端點，可在本地進行 Jev 風格推理，兼顧效率與隱私。目前支援多個開源模型，官方表示後續還會增加更多模型。

地端推論開發工具 llama.cpp 本地推理 SystemOne 開源模型

2 個來源 · 2 則報導閱讀原文

llama.cpp releases10/4 20:50AI 評分23

llama.cpp 發布 b11397，CUDA 後端調整 neu_padded 位置

llama.cpp 發布建置版本 b11397，主要變更是將 CUDA 後端的 neu_padded 移動到實際使用位置（PR #29940），作者為 Hugging Face 的 Adrien Gallouët。該版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包，覆蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端；

地端推論開源 llama.cpp CUDA 版本更新本地推理

llama.cpp releases10/4 15:43AI 評分30

llama.cpp 發布 b11392 建置，CI 預設權限調整

llama.cpp 發布 b11392 版本，主要變更是 CI 設定預設權限（#29945）。該版本提供覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯產物，包括 Apple Silicon arm64、CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 等後端；

地端推論開源 llama.cpp 版本更新本地推理跨平台建置

llama.cpp releases10/6 11:05AI 評分33

llama.cpp 發布 b11438，動態後端需顯式載入

llama.cpp 發布 b11438，主要變更是 test-llama-archs 在生成模型前先初始化後端（#30034）：開啟 GGML_BACKEND_DL 時，必須先顯式載入後端才能建立模型。

地端推論開源 llama.cpp 本地推理 GGML 跨平台建置版本發布

X @ggerganov● 精選10/6 14:27AI 評分75

llama.cpp v0.6.0 支援 DFlash，Qwen3.8-27B 推理提速

llama.cpp 作者 Georgi Gerganov 建議使用 Qwen3.8-27B + MTP 的使用者升級到 DFlash，以獲得額外速度提升。啟用方式是在最新 llama.cpp v0.6.0 上執行 llama serve -hf ggml-org/Qwen3.8-27B-GGUF，並加上 --spec-type draft-dflash 與 --spec-draft-n-max 7 兩個引數。該提示未給出具體提速幅度，只強調必須使用最新版本。

地端推論開源 llama.cpp Qwen DFlash 推測解碼 MTP

2 個來源 · 3 則報導閱讀原文

llama.cpp releases10/4 18:49AI 評分35

llama.cpp 發布 b11396 版本，Windows LLVM 建置需 Ninja 多配置

llama.cpp 發布 b11396 版本，主要變更是 Windows 平台的 LLVM 建置需要 Ninja 多配置（#29959）。該版本提供覆蓋 macOS、Linux、Windows、Android 和 openEuler 的預編譯產物，包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端，其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 被標記為…

地端推論開源 llama.cpp 建置發布跨平台 CUDA Vulkan

llama.cpp releases10/6 13:45AI 評分45

llama.cpp b11439 將選擇性專家複製重構到使用者程式碼

llama.cpp 發布 b11439 版本，把 selective expert copying 從 ggml 內部重構到使用者程式碼，並將兩個模型納入 selective expert copy 測試，測試模型選用 deepseek2，改動由 Georgi Gerganov 等人共同提交，同時修正了 ggml-backend.h 的註釋與空白。

地端推論開源 llama.cpp ggml selective expert copy DeepSeek 版本發布

llama.cpp releases10/2 14:11AI 評分43

llama.cpp 為 Hexagon NPU 增加 q2_k 與 q3_k 量化支援

llama.cpp 合併 PR #29717，為 Hexagon 後端新增 q2_k 和 q3_k 兩種量化型別支援，並統一了 src1_row_size 的分配方式。該改動由高通工程師 Max Krasnyansky 參與提交，面向在驍龍 Hexagon NPU 上執行本地推理的使用者，相關建置覆蓋 Linux arm64 與 Android arm64 的 Snapdragon CPU、Adreno GPU、Hexagon NPU 組合。

地端推論開源 llama.cpp Hexagon 量化 q2_k q3_k

llama.cpp releases10/5 08:34AI 評分56

llama.cpp 為 SpacemiT X60 補上 Q8_0 IME1 核心

llama.cpp 合併 PR #28479，為 SpacemiT X60 新增 Q8_0 的 IME1 矩陣核心與 repack 路徑。此前該平台 IME 加速只覆蓋 Q4_0/Q4_1/Q4_K，且建置時 GGML_CPU_REPACK=OFF，Q8_0 無加速路徑，prefill 比 Q4_0 慢約十倍。

地端推論開源 llama.cpp Q8_0 IME1 SpacemiT X60 RISC-V

llama.cpp releases● 精選10/6 21:24AI 評分74

llama.cpp 合併 K2 Horizon 支援，修復 Windows GGUF 無法載入

llama.cpp 合併了 K2 Horizon 稠密模型與 MoVA 支援，包含 GGUF 轉換、計算圖、tokenizer、chat template，以及推理與工具呼叫。

模型地端推論 llama.cpp K2 Horizon GGUF MoVA 本地推理

llama.cpp releases● 精選10/5 15:05AI 評分66

llama.cpp b11418：server 支援 Clef 視覺輸入

llama.cpp 發布建置 b11418，其 server 新增對 Clef 的視覺輸入支援（PR #29969），並修復影像 token 上限、abort 與 yield_to_queue 資料變更等問題。

開發工具地端推論 llama.cpp Clef 視覺輸入本地推理版本發布

1 個來源 · 2 則報導閱讀原文

r/LocalLLaMA top of the day10/2 19:47AI 評分65

llama.cpp 新 PR 將共享專家融合進 MMVQ，部分 MoE 架構提速

llama.cpp 的 PR #29184 提出在 CUDA 後端把共享專家融合進 MMVQ，為部分 MoE 架構帶來提速，例如 Qwen 35B A3B。有評論稱該改動使 TG 速度提升約 5%，並指出僅對部分 MoE 架構有效。

地端推論開源 llama.cpp CUDA MoE 推理加速 Qwen

2 個來源 · 2 則報導閱讀原文

llama.cpp releases10/4 10:37AI 評分27

llama.cpp 修復預設白名單中失效的 LLAMA_ARG_HF_REPO_FILE 鍵

llama.cpp 發布 b11385 版本，修復了預設允許列表中失效的 LLAMA_ARG_HF_REPO_FILE 鍵（#29938）。該版本繼續為 macOS、Linux、Windows、Android 等平台提供建置，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端，其中 macOS Apple Silicon 的 KleidiAI 啟用版與 openEuler 建置被標記為 DISABLED…

地端推論開源 llama.cpp 版本更新本地推理 Hugging Face

llama.cpp releases10/6 19:16AI 評分40

llama.cpp b11447 發布：新增 pplx-decider 模型支援

llama.cpp 發布 b11447 建置版本，本次列出的功能變更是新增對 pplx-decider 模型的支援（PR #30044）。該版本一次性放出 macOS/iOS、Linux、Android、Windows、openEuler 五個平台的預編譯產物，計算後端覆蓋 CPU、CUDA 12.8 與 13.4、Vulkan、ROCm 10.0、OpenVINO、SYCL，以及驍龍平台的 Adreno GPU 與 Hexagon NPU；

地端推論開源 llama.cpp pplx-decider 本地推理跨平台建置版本發布

Cloudflare blog (AI)● 精選10/1 14:04AI 評分68

Cloudflare 將 EuroLLM 與 Apertus 兩個歐洲開源模型接入 Workers AI

Cloudflare 在生日周宣布，將歐洲兩個公共機構訓練的開源模型 EuroLLM 和 Apertus 引入 Workers AI，現已開放訪問申請。EuroLLM 覆蓋 35 種語言，含全部 24 種歐盟官方語言；Apertus 由瑞士 ETH Zurich、EPFL 等開發，訓練資料超 15 萬億 token、覆蓋 1500 多種語言，權重與資料全部公開。Cloudflare 同時啟動面向政府網路安全機構與關鍵基礎設施運營方的實操工作坊，首場 10 月在新加坡舉行。

模型產品與方案主權 AI Workers AI EuroLLM Apertus AI 防禦

llama.cpp releases10/3 15:27AI 評分48

llama.cpp 修復 Ling 3.0 解析器忽略 json_schema 的問題

llama.cpp 合併 PR #29813，讓 Ling 3.0 解析器開始遵循 inputs.json_schema。此前 Ling 3.0 只為工具呼叫建置語法，response_format 請求不受約束；新實現加入優先於工具的回應格式語法路徑，並在啟用思考時要求先輸出 think 塊、JSON 回應後不允許追加散文。該修復對應 issue #29652，隨新版建置覆蓋 macOS、Linux、Windows、Android 等平台。

開發工具地端推論 llama.cpp json_schema Ling 3.0 grammar response_format

llama.cpp releases10/6 07:57AI 評分45

llama.cpp b11436 修復 OpenVINO 後端多項 GPU 迴歸

llama.cpp b11436 修復 ggml-openvino 後端的 CI 測試失敗與多項 GPU 迴歸。上游 #29622 給輸入 embedding 圖加入混合 token/embd 分支，後端改為只從計算節點建置 OV 模型，並把同型別連續 DUP 按 CONT 翻譯以避免圖被拆分，修復了 CPU 與 GPU 上首個單 token decode 失敗；

地端推論開源 llama.cpp OpenVINO 後端修復 GPU NPU

1 個來源 · 2 則報導閱讀原文

llama.cpp releases10/4 23:56AI 評分35

llama.cpp 發布 b11399，重構 CUDA swizzling 程式碼

llama.cpp 發布 b11399 版本，主要變更是重構 CUDA swizzling 程式碼並修復模板與迴圈邊界。該版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包，其中 macOS Apple Silicon 的 KleidiAI 版本被標記為 DISABLED，openEuler 建置同樣被停用。

地端推論開源 llama.cpp CUDA swizzling 跨平台建置推理

llama.cpp releases10/5 15:50AI 評分42

llama.cpp 發布 b11424，修復 Vulkan Flash Attention 共享記憶體越界寫

llama.cpp 發布 b11424 建置版本，修復 Vulkan 後端 Flash Attention 的共享記憶體越界寫問題（#29988）。該版本照例提供 macOS/iOS、Linux、Windows、Android 的預編譯包，涵蓋 Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL、OpenCL 等後端，並附驍龍 CPU/Adreno GPU/Hexagon NPU 的安裝指引。

地端推論開源 llama.cpp Vulkan Flash Attention 記憶體越界版本更新

llama.cpp releases10/5 09:19AI 評分12

llama.cpp 發布 b11407，修復 Vulkan 測試編譯錯誤

llama.cpp 發布 b11407 版本，修復了在開啟 -DGGML_VULKAN_RUN_TESTS=ON 時 Vulkan 後端出現的未宣告識別符號問題。該版本同步提供 macOS、Linux、Windows、Android 等多平台預編譯包，涵蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端。

地端推論開源 llama.cpp Vulkan 建置版本推理後端

llama.cpp releases● 精選10/5 17:57AI 評分62

llama.cpp 版本號升至 0.6.0，多平台建置產物同步更新

llama.cpp 將版本號提升到 0.6.0（PR #29997），並更新了 scripts 的 summary prompt。隨版本給出的建置產物覆蓋 macOS（Apple Silicon arm64、Intel x64）、iOS XCFramework、Linux（Ubuntu x64/arm64/s390x，含 CUDA 12、CUDA 13、ROCm 10.0、Vulkan、OpenVINO、SYCL）、Android arm64、Windows（x64/arm6…

地端推論開源 llama.cpp 0.6.0 本地推理版本發布

llama.cpp releases10/5 05:35AI 評分37

llama.cpp 發布 b11402，CUDA 後端改用整塊 FlashAttention 排程

llama.cpp 發布 b11402 版本，CUDA 後端改為優先採用整塊（whole-tile）FlashAttention 排程，以提升兩階段核心效率。

地端推論開源 llama.cpp CUDA FlashAttention 版本更新本地推理