搜尋

找到 50 筆

llama.cpp releases● 精選10/6 20:24AI 評分74

llama.cpp 合併 K2 Horizon 支援，修復 Windows GGUF 無法載入

llama.cpp 合併了 K2 Horizon 稠密模型與 MoVA 支援，包含 GGUF 轉換、計算圖、tokenizer、chat template，以及推理與工具呼叫。

模型地端推論 llama.cpp K2 Horizon GGUF MoVA 本地推理

llama.cpp releases10/6 13:27AI 評分42

llama.cpp b11443 合併各模型的 nextn 行裁剪邏輯

llama.cpp 發布 b11443 建置，其中提交 #30017 把各模型重複的 nextn 行裁剪邏輯合併為 llm_graph_context 上的 crop_before_nextn() 與 crop_after_nextn() 兩個共享 helper。

開源地端推論版本更新 llama.cpp nextn 推理最佳化建置發布

量子位● 精選10/9 09:19AI 評分77

TRAE 把 Code 與 Work 合併，升級為 Agent 與 IDE 雙模式平台

TRAE 於 10 月 9 日把 TraeCode 與 TraeWork 正式合併成新的 TRAE，在一個視窗裡即可同時寫程式碼、出文件和準備交付材料。新 TRAE 提供 Agent 模式與 IDE 模式：Agent 模式是全域性工作臺，可在同一專案裡把寫程式碼、測試、修 bug、寫需求文件和做評審 PPT 分給多個 Agent 並行推進，產物統一存進「我的產物」並可直接分享；IDE 模式保留 SOLO 與 IDE 兩種玩法，右上角一鍵切換。

產品與方案開發工具 TRAE AI Coding Agent 模式 IDE 模式多 Agent 協作

llama.cpp releases10/25 18:19AI 評分39

llama.cpp b11886：轉換 Qwen 模型時合併張量

llama.cpp 發布 b11886 建置，最值得注意的是轉換 Qwen 模型時會合並張量（#31028）。同批提交中，convert 轉換指令碼改用生成器函式，qwen4exp 移除常量與預縮放處理。

地端推論開源 llama.cpp Qwen 本地推理跨平台建置 b11886

llama.cpp releases10/25 16:34AI 評分41

llama.cpp 合併 GGUF 時拒絕截斷的張量資料

llama.cpp 新建置 b11880 在合併 GGUF 張量資料時，會拒絕被截斷的資料，避免合出損壞的模型檔案；對應提交為 #31044，改動位於 tools。該版本仍覆蓋 macOS Apple Silicon、iOS、Linux（CUDA 12/13、ROCm、Vulkan、SYCL、OpenVINO）、Android 與 Windows 等平台，但啟用 KleidiAI 的 macOS Apple Silicon 建置和 openEuler 建置在本期被標記為停用。

地端推論開源 llama.cpp GGUF 版本發布本地推理模型合併

1 個來源 · 2 則報導閱讀原文

llama.cpp releases10/13 13:21AI 評分29

llama.cpp 把三項上下文狀態測試合併為單個二進位制 test-llama-context

llama.cpp 建置 b11596 將 test-save-load-state、test-recurrent-state-rollback、test-state-restore-fragmented 三項上下文狀態測試合併為單一二進位制 test-llama-context，一次執行覆蓋 130 多個模型。

開源地端推論 llama.cpp 測試重構 KV cache 遞迴狀態上下文狀態測試

1 個來源 · 2 則報導閱讀原文

llama.cpp releases10/22 07:52AI 評分38

llama.cpp 合併 SYCL FP16/FP32 反量化開關

llama.cpp 發布 b11810 建置，SYCL 後端把 FP16 與 FP32 的反量化開關合併為一項（#30740）。同一版本更新了多平台預編譯產物，涵蓋 macOS Apple Silicon 與 Intel、iOS XCFramework、Ubuntu 和 Windows 上的 CUDA 12/CUDA 13、Vulkan、ROCm 10.0、OpenVINO，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 建置。

地端推論開源 llama.cpp SYCL FP16 FP32 版本發布

llama.cpp releases10/16 10:06AI 評分43

llama.cpp b11688 合併 AVX2 分塊累加器並更新全平台建置

llama.cpp 合併 PR #30296，把 CPU 上的 AVX2 分塊累加器（tiled accumulators）歸併處理，用於最佳化 x86 CPU 推理，改動由 Codex 協助完成。同版本 b11688 放出多平台預編譯建置，覆蓋 macOS Apple Silicon 與 Intel、iOS、Linux、Windows、Android、openEuler，含 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端。

地端推論開源 llama.cpp AVX2 CPU 推理最佳化預編譯建置 b11688

llama.cpp releases10/21 09:52AI 評分39

llama.cpp b11787 合併 SYCL mmq 重複啟動檢查

llama.cpp 發布 b11787，唯一程式碼提交是合併 SYCL 後端 mmq 中重複的 need_check 啟動邏輯（#30739），屬於內部清理，提交說明未提及效能或精度變化，也沒有新模型或功能公告。發布頁列出 macOS Apple Silicon、Linux CUDA 12/13、ROCm 10.0、Vulkan、SYCL、Windows、Android 等 30 餘個預編譯建置；

地端推論開源 llama.cpp SYCL 建置版本本地推理

llama.cpp releases● 精選10/7 13:45AI 評分78

llama.cpp 合併 GLM5-Next MTP 支援，可作 draft 模型

llama.cpp 合併 PR #29928，為 GLM5-Next 加入多 token 預測（MTP）的 NextN 計算圖，使其能作為投機解碼的 draft 模型使用。改動包括支援只含 NextN 層或只含主幹張量的拆分 GGUF 檔案載入，並把 MTP 圖按輸出行裁剪，無輸出行的 4-token catch-up 核心耗時從 6.9 ms 降到 2.9 ms，貪心輸出雜湊與 draft 接受率不變。

地端推論開源 llama.cpp GLM5-Next MTP 多 token 預測本地推理

releasebot: ChatGPT10/1 00:00AI 評分47

ChatGPT 手機相機新增掃描，多頁連拍合併為 PDF

ChatGPT 手機端相機新增掃描功能：可連續拍攝多頁筆記或文件，自動合併成一個 PDF 並加入當前對話。入口在 ChatGPT 相機內的三點選單，選擇 Scan 即可使用，掃描結果以單個 PDF 形式準備好上傳到聊天。該功能正在 iOS 上逐步推出，官方未提及 Android 或桌面端的安排。

產品與方案 ChatGPT 掃描 PDF iOS

X @OpenAIDevs● 精選10/6 18:33AI 評分82

OpenAI API 付費檔位合併為三檔，最高檔門檻降至 500 美元

OpenAI 把 API 的付費使用檔位從五個合併為三個：Build、Launch 和 Grow。新的最高檔 Grow 准入門檻為累計 API 付款 500 美元，此前最高檔需要 1000 美元。OpenAI 表示這讓開發者更容易達到更高的 API 速率限制。該訊息由 @OpenAIDevs 於 2026 年 10 月 6 日發布。

產品與方案開發工具 OpenAI API 速率限制付費層級 Grow

2 個來源 · 3 則報導閱讀原文

Claude blog● 精選9/16 00:00AI 評分83

Claude Cowork 與聊天合併為統一 Claude

Anthropic 宣布自 2026 年 9 月 16 日起，Claude Cowork 與聊天合併為同一個 Claude，任務不再需要使用者選擇入口。同時新增 Claude Docs 與 Claude Slides，Claude Design 也可直接在對話中使用，三者均處於 beta 階段。該功能未來幾週先向 Pro 和 Max 訂閱方案推送，Team 與 Free 方案隨後跟進，Enterprise 管理員將在變更前至少 30 天收到通知。

訂閱動態產品與方案 Claude Cowork Claude Docs Claude Slides Claude Design

Simon Willison● 精選10/13 23:00AI 評分79

Anthropic 自研 Git 替代方案 Scion，日合併程式碼超 3 萬次

Anthropic 自研 Git 替代方案 Scion 與配套程式碼審查系統 Antique，動因是程式碼變更速度激增：2026 年 5 月日均合併約 2500 次，9 月已超過 3 萬次。主分支歷史近 100 GB，壓縮工作副本超 25 GB，CI 每天約 2500 萬次程式碼檢出，若按 Git 方式抓取每天流量將超 600 PB。該系統由 7 人團隊開發，5 個月完成從 Git 遷移；因 Claude 是 Scion 最主要的使用者且必然線上，因此未做離線支援。

開發工具 Git 版本控制 Scion 程式碼審查 AI 程式設計

4 個來源 · 6 則報導閱讀原文

Claude blog● 精選10/23 00:00AI 評分68

Claude 聊天與 Cowork 合併，Enterprise 版正式開放

Claude 的聊天與 Cowork 合併為統一體驗，10 月 23 日起面向 Claude Enterprise 計劃全面開放，此前 9 月已先向 Pro 和 Max 推出。同一會話裡簡單提問仍是聊天，需要跑程式碼或處理檔案時 Claude 轉到 Anthropic 託管的雲端環境執行，關掉筆記本後仍可在網頁、桌面或手機取回結果。管理員可按角色控制模型權限、設定組織與成員花費上限，新增的 Efficient 模式把統一體驗限定在 Sonnet 與 Haiku；

訂閱動態產品與方案 Claude Enterprise 統一體驗用量控制 Efficient mode

Simon Willison● 精選10/28 16:45AI 評分76

GitHub 年度報告：月合併 PR 達 2.2 億，一年增至三倍

GitHub 在 Universe 大會公布 Octoverse 2026：2026 年每月合併的 pull request 在不到一年內增至三倍，達到 2.2 億次；每月提交數同樣增至三倍以上，達 73.8 億次，其中大部分增長出現在下半年。新建倉庫速率翻倍，達到每月 3030 萬個。報告還按行業拆分資料，並單獨統計名稱、描述或 README 涉及互操作與逆向工程的倉庫；方法論部分說明，為減少 VPN 帶來的偏差，他們用 LLM 從使用者資料中提取國家程式碼。

研究開發工具 GitHub Octoverse AI coding agents agentic engineering

Hacker News front page10/25 13:28AI 評分51

開源工具 Farol 為 PR 審批者生成合並風險地圖

免費開源的 Farol 在 AI 審查之後為 PR 審批者給出合併風險：用 TypeScript 型別檢查器、go/types、Python ast 等編譯器級靜態分析，輸出 0–100 風險分和 fast track、quick review、careful review 三檔結論，並標出風險最高的檔案及受影響的頁面、API 與任務。它還能檢出介面契約破壞，每次 push 同時生成完整 PR 與增量提交兩份報告，並複用 CI 的覆蓋率、lint 和安全結果。

開發工具開源 Pull Request 程式碼審查風險分析開源 CLI GitHub Action

Anthropic News● 精選10/8 00:00AI 評分67

Anthropic 更新使用政策，合併欺騙性活動條款並放開競選定向

Anthropic 發布 2026 版使用政策，把分散的欺騙性活動規則合併為新條款，並放開個性化投票與競選定向，新政 11 月 12 日生效。新設的「不得從事欺騙性宣傳或人造活動」一節，統一禁止虛假帳號、偽造新聞站點等行為；選舉條款更名為「不得破壞民主程序」，依靠欺騙或濫用選民資料的定向仍被禁止。武器禁令明確覆蓋制導與控制軟體、武裝無人機；監控條款禁止未經同意的追蹤。新增自主硬體要求：須有合格操作者能觀察並隨時停機，Claude 斷開時裝置需保持安全狀態。

政策與安全使用政策 AI 安全選舉干預監控高風險用例

4 個來源 · 6 則報導閱讀原文

llama.cpp releases10/5 13:09AI 評分33

b11422: cuda: use the vector lightning indexer kernel on MUSA (#29990)

llama.cpp 合併 PR #29990，在 MUSA 後端改用向量版 lightning indexer kernel。原因是 MUSA 架構 21 與 22 的靜態共享記憶體上限為 28 KB，而 tile kernel 需要 33 KB，所以 tile kernel 不用於 MUSA；CUDA 與 ROCm 仍執行合併後的原 kernel，沒有變化。

地端推論開源 MUSA CUDA 核心最佳化共享記憶體 llama.cpp

2 個來源 · 4 則報導閱讀原文

Ars Technica AI10/26 14:30AI 評分45

特斯拉放棄電動車銷冠，轉向自動駕駛與軟體服務

特斯拉在丟掉電動車銷量第一後，正在把賭注轉向自動駕駛以及軟體與 AI 服務收入。馬斯克在 Roadster 空中特技表演五天後透露，特斯拉與 SpaceX 正在探討合併，以加速自動駕駛佈局。報導稱，車企正試圖從單純賣車轉向靠軟體與 AI 服務獲取經常性收入，同時應對來自中國的競爭壓力。

商業 Tesla SpaceX 自動駕駛合併商業模式

llama.cpp releases10/3 15:02AI 評分31

llama.cpp 新增 common_is_tty() 並修復 Windows 棄用警告

llama.cpp 合併 PR #29860，新增 common_is_tty() 輔助函式並修復 Windows 上的棄用警告，由 Hugging Face 的 Adrien Gallouët 提交。

地端推論開源 llama.cpp 版本更新跨平台建置 Windows

1 個來源 · 2 則報導閱讀原文

Hacker News front page● 精選10/13 15:49AI 評分77

Anthropic 自研版本控制系統 Scion，五個月完成 monorepo 遷移

Anthropic 自研了內部版本控制系統 Scion，並在五個月內把 monorepo 從 git 全量遷移完成。原因是 AI 編碼速度已超出為人設計的開發基礎設施：日合併程式碼變更從 2026 年 5 月的約 2500 次增至 9 月的逾 3 萬次，主分支歷史近 100 GB，壓縮工作副本超 25 GB，CI 每天約 2500 萬次 checkout。Scion 假設客戶端始終線上，由服務端負責歷史、blame、合併與 rebase，客戶端只保留有界快取；

開發工具 Scion Antique 版本控制 monorepo Claude

4 個來源 · 6 則報導閱讀原文

Anthropic Research● 精選10/13 00:00AI 評分82

Anthropic 自研版本控制系統 Scion，五個月完成 monorepo 遷移

Anthropic 已把 monorepo 從 git 遷移到自研版本控制系統 Scion，整個遷移耗時五個月。其日均合併程式碼變更從 2026 年 5 月的約 2500 次增至 9 月的逾 3 萬次，主分支歷史近 100 GB、壓縮工作副本超 25 GB，CI 每天約 2500 萬次 checkout。同期還上線了程式碼評審介面 Antique、程式碼搜尋和原始碼管理 IAM。Scion 假設客戶端始終線上，由服務端承擔歷史、blame、合併等計算，原始碼查詢全部通過 API 開放。

開發工具產品與方案版本控制 monorepo 程式碼審查開發基礎設施 Scion

llama.cpp releases10/28 00:35AI 評分43

llama.cpp 新增延遲工具與 tool_reference 支援

llama.cpp 建置版本 b11940 合併 PR #31256，在 common 層新增對延遲工具（deferred tools）與 tool_reference 內容塊的支援，並修復了相應測試的型別檢查。

地端推論開源 llama.cpp 工具呼叫 deferred tools 本地推理版本更新

llama.cpp releases10/24 20:27AI 評分46

llama.cpp 為 Hexagon NPU 多核 flash attention 加入 KV 頭拆分

llama.cpp 新建置 b11868 給驍龍 Hexagon NPU 的多核 HMX flash attention 加入了 KV 頭分組拆分，並把原來的 FA_HEAD_SPLIT 與 FA_SPLIT 兩套開關合併為單一開關 GGML_HEXAGON_FA_SPLIT。設為 0 時只做 token 拆分；

地端推論開源 llama.cpp Hexagon NPU Flash Attention KV cache 多核

llama.cpp releases10/6 06:18AI 評分47

llama.cpp 修復共享序列 k-pool 資料競爭

llama.cpp 合併 PR #29994，修復 CPU 後端在共享序列（seq_cp）場景下 k-pool 的散射寫入資料競爭：多個共享同一 cell 的序列會從不同 scatter 條目寫同一 rep 行。

地端推論開源 llama.cpp 版本發布資料競爭修復 KV cache CPU 後端

llama.cpp releases10/5 07:34AI 評分56

llama.cpp 為 SpacemiT X60 補上 Q8_0 IME1 核心

llama.cpp 合併 PR #28479，為 SpacemiT X60 新增 Q8_0 的 IME1 矩陣核心與 repack 路徑。此前該平台 IME 加速只覆蓋 Q4_0/Q4_1/Q4_K，且建置時 GGML_CPU_REPACK=OFF，Q8_0 無加速路徑，prefill 比 Q4_0 慢約十倍。

地端推論開源 llama.cpp Q8_0 IME1 SpacemiT X60 RISC-V

llama.cpp releases● 精選10/27 17:47AI 評分60

llama.cpp 新增 LiquidAI LFM3-Audio 與 LFM3-Omni 2B 支援

llama.cpp 已合併對 LiquidAI LFM3-Audio-2B 與 LFM3-Omni-2B 兩個音訊模型的支援。轉換指令碼改為按模型自帶的 config.json 讀取，並按 model_type 自動識別；LFM3-Audio 的 depthformer 關閉 flash attention，編碼器卷積與 codec 保持不量化。

地端推論開源 llama.cpp LFM3-Audio LFM3-Omni TTS 多模態

5 個來源 · 8 則報導閱讀原文

llama.cpp releases10/28 14:18AI 評分48

llama.cpp 最佳化 SYCL 短行 TOP_K，最高提速 18.5 倍

llama.cpp 合併了一項 SYCL 後端改動：當 TOP_K 的行長度不超過 work-group 大小時，改為每個 work-item 負責一列、做 k 輪 work-group argmax，並列時取較小列號，NaN 不會被選中，長行仍走原有路徑。

地端推論開源 llama.cpp SYCL TOP_K 效能最佳化 oneAPI

llama.cpp releases10/7 10:13AI 評分35

llama.cpp 發布 b11462，含 SYCL fattn 緩衝區清理

llama.cpp 發布 b11462 建置，本次合併的主要改動是 SYCL 後端的 fattn_kv_buffers 清理（#27689）。該版本繼續提供 macOS/iOS、Linux、Android、Windows、openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL，以及驍龍平台的 CPU、Adreno GPU 與 Hexagon NPU。

地端推論開源 llama.cpp SYCL 本地推理開源版本發布

llama.cpp releases10/3 15:54AI 評分20

llama.cpp 修復 server 因 n_batch 超限導致的 abort

llama.cpp 合併 PR #29903，通過將 n_batch 限制為不超過 n_ubatch 來修復 server 崩潰問題，對應 issue #29902。該修復由 Claude 輔助完成，並移除了相關測試與 embeddings 條件。新版本已覆蓋 macOS、Linux、Windows、Android 等平台，包括 Apple Silicon、CUDA、ROCm、Vulkan 等後端。

地端推論開源 llama.cpp bug fix n_batch n_ubatch release

llama.cpp releases10/3 08:36AI 評分43

llama.cpp 新增 clef 決策模型純文字支援

llama.cpp 合併 PR #29831，為 clef 決策模型加入初始支援，目前僅限純文字輸入。該改動同時更新了 gguf-py 常量並清理了靜態圖相關程式碼，隨附的建置產物覆蓋 macOS、Linux、Windows、Android 與 openEuler 等多個平台。

地端推論開源 llama.cpp GGUF clef 本地推理

1 個來源 · 2 則報導閱讀原文

llama.cpp releases10/21 22:34AI 評分55

llama.cpp 新增 Flint 模型支援，多平台建置同步更新

llama.cpp 建置 b11803 合併了對新模型 Flint（FlintForCausalLM）的支援，該提交由 Codex 協助完成，合作者包括 Hugging Face 的 Sigbjørn Skjæret。同版本的預編譯產物覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端。

模型地端推論 Flint llama.cpp 本地推理模型支援 Codex

6 個來源 · 9 則報導閱讀原文

llama.cpp releases10/4 16:25AI 評分40

llama.cpp 修復 chat-peg-parser 釋放後使用漏洞

llama.cpp 合併 PR #29942，修復 chat-peg-parser 中 pending_tool_call 重置時未清空 current_tool 指標導致的 use-after-free 與 id 緩衝區二次釋放。該問題在 TOOL_CLOSE 之後收到 TOOL_ID 節點時觸發，修復方式是在重置時清除指標。

地端推論開源 llama.cpp use-after-free chat-peg-parser 建置發布

llama.cpp releases10/25 15:19AI 評分39

llama.cpp b11878：CUDA 後端融合 Qwen MRoPE 與 set-rows

llama.cpp 發布 b11878，CUDA 後端新增 Qwen MRoPE 與 set-rows 的運算元融合（PR #31025），把這兩步計算合併進單個 GPU kernel。MRoPE 是 Qwen 系列模型使用的多維旋轉位置編碼，該改動面向在 NVIDIA GPU 上執行 Qwen 的本地推理使用者。

地端推論開源 llama.cpp Qwen MRoPE CUDA 本地推理

llama.cpp releases10/5 05:24AI 評分42

llama.cpp 在 CUDA 小批次下用 MMVF 最佳化 f16/bf16 矩陣乘法

llama.cpp 合併 PR #29633，在 CUDA 後端針對小批次場景的 thin f16/bf16 mul_mat 改用 MMVF 指令，並調整了核心選擇邏輯。該改動由 NVIDIA 工程師提交，影響 Ubuntu 與 Windows 的 CUDA 12/13 建置，面向在 NVIDIA GPU 上執行本地推理的使用者。

地端推論開源 llama.cpp CUDA MMVF mul_mat kernel

llama.cpp releases10/2 23:18AI 評分31

llama.cpp 在 32KB 共享記憶體的三星 GPU 上停用大矩陣乘分塊

llama.cpp 合併 PR #28531，在共享記憶體為 32KB 的三星 GPU 上停用 Vulkan 後端的大矩陣乘分塊（large matmul tile），以規避該硬體配置下的問題。該改動由 Claude Opus 輔助完成，並附有建置證明連結。

地端推論開源 llama.cpp Vulkan Samsung GPU 本地推理版本發布

llama.cpp releases10/14 20:09AI 評分42

llama.cpp 改進 RPC 張量傳輸日誌，修復命令名顯示

llama.cpp 合併 ggml RPC 張量傳輸日誌改進（#30481）：新增 rpc_log_format_size()，在客戶端、服務端與傳輸層日誌中以 KiB/MiB/GiB 列印位元組數；新增 rpc_log_format_tensor()，在 set/get/memset/copy/init 張量日誌中帶上張量名、運算元、型別與形狀。

開源地端推論 ggml llama.cpp RPC 日誌張量傳輸

llama.cpp releases10/3 21:35AI 評分18

llama.cpp 修復 Windows 下 mtmd 的 strdup 棄用警告

llama.cpp 合併提交 #29863，修復 mtmd 在 Windows 上使用已棄用 strdup 函式產生的編譯警告，由 Hugging Face 的 Adrien Gallouët 提交。該提交隨新版本發布，覆蓋 macOS、Linux、Windows、Android 及 openEuler 等多個平台建置，其中 macOS Apple Silicon 的 KleidiAI 啟用版與 openEuler 部分建置被標記為 DISABLED。

地端推論開源 llama.cpp Windows 建置發布 strdup

1 個來源 · 2 則報導閱讀原文

MLX releases8/25 10:58AI 評分33

v0.32.2

蘋果 MLX 框架發布 v0.32.2，合併了 40 餘項改動，集中在數值正確性與核心效能。修復包括浮點 divmod 商截斷、median 丟棄 NaN、einsum 丟失尾部空下標、量化切片陣列、CPU 複數 exclusive scan 等；同時為 NAX 裝置新增 head_dim 256 的融合全注意力路徑，並加入 AI 使用政策。

地端推論開源 MLX 版本發布 Metal CUDA 開源框架

llama.cpp releases● 精選10/5 05:29AI 評分60

llama.cpp 為 Metal 加入少行 MMA 矩陣乘核心

llama.cpp 合併 PR #29869，為 Metal 後端新增支援 2 到 16 行 src1 的 mat-mul 核心，用於加速投機解碼中的少行矩陣乘。此前 Metal 在無 tensor API 時用 mat-vec 核心處理這些運算，耗時隨 src1 行數增長，導致 M3 Ultra 上 DFlash2 解碼慢於序列解碼。

地端推論開源 llama.cpp Metal MMA 投機解碼 Apple Silicon

1 個來源 · 3 則報導閱讀原文

llama.cpp releases10/7 11:11AI 評分42

llama.cpp 修復 SYCL 混用不同型號 GPU 的 FA 問題

llama.cpp 合併 PR #29071，修復 SYCL 後端在 Flash Attention（FA）中混用不同型號 GPU 時出現的問題。改動位於 ggml/src/ggml-sycl/ggml-sycl.cpp，提交由 Georgi Gerganov 共同署名。該修復包含在版本 b11464 中，此版本同時提供 Ubuntu x64（SYCL FP32、FP16）與 Windows x64（SYCL）等建置。

地端推論開源 llama.cpp SYCL Flash Attention GPU 推理版本更新

llama.cpp releases10/5 00:06AI 評分41

llama.cpp 支援批次內混合 embd 與原始 token

llama.cpp 合併 PR #29622，在單一批次中同時支援嵌入向量（embd）和原始 token，並新增 llm_arch_supports_mixed_batch 為 false 時的檢查分支。改動包括固定圖拓撲、為混合場景設定專用輸入、移除 set_tensor_backend、將 is_embd 改為 type，並統一 m-rope 位置處理。

地端推論開源 llama.cpp batch inference embd mixed batch release

1 個來源 · 2 則報導閱讀原文

llama.cpp releases● 精選10/3 00:28AI 評分68

llama.cpp 為 Metal 新增 F16 KV 張量 API flash attention 核心

llama.cpp 合併 PR #29570，在 Metal 後端為 F16 KV 快取加入基於張量 API 的 flash attention 核心。該核心覆蓋 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等配置，並支援 attention sinks、ALiBi 與 logit softcap。改動隨 b11362 建置發布，覆蓋 macOS Apple Silicon、iOS 及 Linux、Windows、Android 等多平台建置。

地端推論開源 llama.cpp Metal Flash Attention Apple Silicon 推理核心

llama.cpp releases10/28 17:29AI 評分43

llama.cpp 為 ARM SVE 補上 q6_K GEMM 256 位核心

llama.cpp 合併 PR #27472，為 ggml-cpu 後端加入 ARM SVE 256 位版本的 gemm_q6_K_8x8_q8_K 核心，使 q6_K GEMM 在支援 SVE 的 ARM CPU 上有了新的實現路徑。該 PR 經過多輪 review：刪除 pg16_8、把 switch 改成 if，並將 q8_k_blocklen 標記為 UNUSED，以避免非 i8mm 編譯告警。

地端推論開源 llama.cpp SVE ARM q6_K 推理最佳化

llama.cpp releases10/15 10:01AI 評分42

llama.cpp 修復純 embedding 模型計算圖為空的問題

llama.cpp 合併 PR #30522，修復純 embedding 模型在未開啟 embeddings 時計算圖為空、輸入始終未被分配的問題：這類模型沒有 logits，且 build_pooling() 在 embeddings 關閉時會提前返回，圖會變空，因此改為在這種情況下也擴充套件 t_embd。

地端推論開源 llama.cpp 本地推理版本更新多平台建置

llama.cpp releases10/5 07:41AI 評分42

llama.cpp 為 WebGPU 後端加入多種量化格式 MMVQ 支援

llama.cpp 合併 PR #29483，為 WebGPU 的 MMVQ 路徑新增 Q1_0、Q5_0、Q5_1、Q3_K、Q5_K、Q6_K 和 MXFP4 量化支援，併為 Q1_0 引入 K_QUANTS_HANDLING 宏。該改動擴充套件了 WebGPU 後端可加速的量化模型範圍，相關建置覆蓋 macOS、Linux、Windows、Android 及 openEuler 等多個平台。

地端推論開源 llama.cpp WebGPU MMVQ 量化 MXFP4

llama.cpp releases10/3 13:27AI 評分27

llama.cpp 修復 f16 ADD_ADD 不穩定測試併發布多平台建置

llama.cpp 合併 PR #29904，通過改用融合 ADD 容差修復 f16 下 ADD_ADD 測試的 flaky 問題。隨附的建置覆蓋 macOS Apple Silicon、iOS、Linux、Android、Windows 及 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 等後端，其中 macOS Apple Silicon 的 KleidiAI 版本和 openEuler 被標記為 DISABL…

地端推論開源 llama.cpp 版本發布推理後端 CUDA 跨平台

llama.cpp releases10/2 14:28AI 評分20

llama.cpp 更新為 Hexagon NPU 安裝重建的 HTP skels

llama.cpp 合併 PR #29828，為高通 Hexagon NPU 安裝重建的 HTP skels，並修復 HTP skel 目錄依賴。該改動面向在驍龍裝置上通過 Hexagon NPU 執行本地推理的使用者，涉及 Linux arm64 與 Android arm64 的 Snapdragon 建置。相關建置產物已隨本次發布提供，並附有 attestations 連結。

地端推論開源 llama.cpp Hexagon NPU HTP 本地推理版本發布

llama.cpp releases10/2 15:43AI 評分16

llama.cpp 為 Vulkan 後端加入管線編譯日誌

llama.cpp 合併 PR #29794，為 Vulkan 後端的管線編譯問題新增日誌輸出，便於定位著色器編譯失敗。該改動隨 b11349 版本發布，覆蓋 Ubuntu 與 Windows 的 x64 Vulkan 建置，同時該版本繼續提供 macOS Apple Silicon、CUDA 12/13、ROCm 10.0、SYCL、OpenVINO 等平台建置。

地端推論開源 llama.cpp Vulkan 版本發布建置產物本地推理