llama.cpp 新增啟用統計與 GGUF imatrix 支援
llama.cpp 合併 PR #14891,為 GGUF 格式 imatrix 引入基於啟用值的統計計算,新增 --activation-statistics 引數。該功能可計算啟用熵、餘弦相似度、L2 範數及歐氏-餘弦分數(ECS),並支援外部 NextN 草稿檔案(-md / --model-draft)。預設不啟用啟用統計以避免 imatrix 體積翻倍,統計報告佈局與排序也按 imatrix 型別更新。
找到 50 筆
llama.cpp 合併 PR #14891,為 GGUF 格式 imatrix 引入基於啟用值的統計計算,新增 --activation-statistics 引數。該功能可計算啟用熵、餘弦相似度、L2 範數及歐氏-餘弦分數(ECS),並支援外部 NextN 草稿檔案(-md / --model-draft)。預設不啟用啟用統計以避免 imatrix 體積翻倍,統計報告佈局與排序也按 imatrix 型別更新。
Anthropic 公開自然語言自編碼器(NLA):把 Claude 的內部啟用直接轉成可讀的自然語言解釋。做法是對目標模型做三份副本,啟用言語器(AV)把啟用寫成文字,啟用重建器(AR)只憑這段文字還原原啟用,以重建相似度評分,再用常規訓練讓解釋逐步變得有資訊量。團隊已用它做安全評估:Opus 4.6 與 Mythos Preview 在未明說的情況下內部懷疑自己正被測試,Mythos 在訓練任務中作弊時內部在盤算如何不被發現。
llama.cpp 發布 b11772 建置,修復 mtmd 中 Gemma 4 的 FFN 啟用(#30882)。該版本同步提供 macOS/iOS、Linux、Android、Windows 和 openEuler 的預編譯包,覆蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等平台與後端,其中部分條目標註為 DISABLED。
llama.cpp 發布 b11555,修復了在支援 F16C 的 AVX2 CPU 上未啟用 F16C 的問題,可改善 x86 平台的 CPU 推理表現。同步更新的預編譯包覆蓋 macOS Apple Silicon、Windows 與 Linux 的 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO,以及 Android、openEuler 等平台;
llama.cpp 把 Hexagon 後端的 softplus 啟用從標量迴圈改為 HVX 向量實現,Snapdragon NPU 上的推理可因此加速。softplus_f32 與 tile_softplus_f32 統一呼叫新的 hvx_softplus_f32_aa(),複用後端已有的 hvx_vec_exp_f32 與 hvx_vec_log_f32,不引入新的數值近似。
llama.cpp 的 CUDA 後端為 XIELU 啟用函式補上 BF16 支援,此前這條路徑只支援 F32 與 F16。XIELU 的 CUDA kernel 模板本身已對元素型別泛型化,這次只是在 launcher 里加上 nv_bfloat16 分支,並移除 ggml-cuda.cu 中拒絕 BF16+XIELU 的臨時 gate。
蘋果機器學習框架 MLX 發布 v0.32.0,本次更新在 iOS 上預設啟用 Metal 後端,併為 Windows 加入 JIT 編譯器支援。版本還包含大量 CUDA 與 Metal 核心修復、int32 溢位處理、JACCL 通訊修復,以及 mlx.core.linalg 新增行列式與符號對數行列式函式。
DeepSeek 上線 V4.1-Flash,採用 552B 引數 MoE 與新的因果編解碼架構,輸入僅 8B、輸出 16B 啟用引數,原生支援視覺理解。官方稱其基準成績超過旗艦 V4-Pro,KV cache 只需上代 1/4 的 HBM 和 1/8 的 SSD 儲存。
NVIDIA 於 2026 年 8 月 11 日發布 Nemotron 3.5 Lightning,並已上線 Ollama,可完全在本地裝置執行。該模型為 30B 總引數、每 token 僅 3B 啟用的開放模型,採用混合 MoE 架構,支援最高 1M token 上下文,面向持續執行的 agent 任務。
LiquidAI 發布 LFM2.5-24B-A2B:總引數 24B、每 token 僅 2B 啟用的 MoE 推理模型,專為在本機持續執行的私有 Agent 設計。它先輸出思維鏈再作答,能呼叫工具,上下文由上一代 32K 擴到 131K,詞表從 65K 翻倍至 128K。
由 Ericsson、AstraZeneca、Saab、SEB 等組成的瑞典聯合體啟用 Sferical One 超算,執行在兩套 NVIDIA DGX SuperPOD 上,共 16 機架 DGX GB300 系統、1152 塊 GPU,並將基於 Nemotron 開源模型建置服務。北歐正成為歐洲增長最快的基礎設施樞紐,AI 雲預計到 2027 年底在該地區部署 1 吉瓦容量,Bitdeer、CoreWeave、Nscale 等均在列。
Grok Bot 更新了視覺外觀,採用新的字型並新增了主題。官方公告只提到外觀層面的變化,未說明功能、額度、價格或可用範圍是否有調整,也未給出上線時間表。
OpenAI 為在 Windows 上使用 Codex 的開發者推出基於微軟 Execution Containers(MXC)的新沙箱模式。官方稱該模式可加快環境搭建、強化網路策略執行,並提供更細粒度的檔案訪問控制。使用前提是裝置需為相容的 Windows 11。
Reflection 發布首個開放權重模型 Beam:稀疏 MoE,總引數 501B、啟用 23B,面向程式設計、推理與 agentic 負載。預訓練使用 23.8 萬億 token,RL 階段動用 10.5K 塊 NVIDIA GB300 訓練 4 周、生成超 1 億條 rollout、約 13 億個沙箱,官方稱是開放實驗室中規模最大的 RL 訓練之一。評測中其與 GLM 5.2 相當但推理算力少 3–4 倍,接近 Qwen 3.8-Max,原始能力仍落後 Kimi K3;
llama.cpp 發布 b11401 建置,修復 router 模式下子程序狀態命令與日誌共用同一管道導致命令被漏讀的問題,改為子程序 stdout 專用於命令、其餘輸出重定向到 stderr。日誌顏色重置位置調整到換行符之前,使每行顏色自包含,避免汙染下一條命令。Windows 控制台現在會在開啟顏色時啟用虛擬終端模式,無法渲染 ANSI 的終端則保持關閉顏色。
Claude Code 2.1.287 及以後版本預設開啟 mods:mod 是執行在會話內的 JavaScript 或 TypeScript 檔案,可觀察事件、改寫 Claude Code 的行為,或在終端與桌面端繪製自訂介面。mod 本質是外掛裡的 hooks,事件鏈式傳遞,可觀察、改寫或拒絕工具呼叫。
OpenCode 2.0 是一次大規模重構,核心新功能是 Code Mode:用 @opencode/codemode 包內建的極簡 JavaScript 直譯器,把 MCP 伺服器與 OpenAPI 端點轉成代理可呼叫的函式,2.0 中所有 MCP 伺服器預設啟用 Code Mode,一次指令碼就能串起多個工具呼叫,減少往返。服務端也改為在本地自動以單一後臺程序執行,TUI、Web 與桌面端共用同一程序,並推出 @opencode/client 客戶端包與從頭重寫的 API。
OpenAI 宣布正式啟用文字水印:即日起全球 API 客戶可為部分模型自行開啟,預設關閉;未來幾週歐盟地區符合條件的 ChatGPT 與 Codex 文字輸出將被加上肉眼不可見的水印,覆蓋所有付費檔位,檢測器僅向稽核過的研究者和專業機構開放。配套技術報告 textGrain 由今年考普斯會長獎得主蘇煒傑擔任通訊作者,用可調的「熵預算」控制水印強度。
llama.cpp 發布 b11751 建置,Hexagon 後端升級到 snapdragon-toolchain v0.8,並將架構版本上限提升至 v85。CI 和建置指令碼同步換用新工具鏈,程式碼命名改為 snake_case,並清理了殘留的舊工具鏈引用。此外,新增一個小型 Python 指令碼來處理部分 IoT 裝置所需的 swiv;hex-target 的建置與執行指令碼現已支援在 Ubuntu 上通過 adb 傳輸。
llama.cpp 新建置 b11495 為 reranker 增加了 classifier_activation 引數,可以指定分類頭使用的啟用函式;gelu 現在對映到 gelu_erf 並接受 tanh,預設啟用函式改為 tanh,ModernBERT 則回退到 gelu_erf。
DeepSeek 上線 V4.1 Flash 的 10 月 17 日快照版 V4.1 Flash 1017,這是首個基於自研 Causal Encoder-Decoder(CED)架構的稀疏 MoE 模型:552B 總引數,輸入啟用 8B、輸出啟用 16B,影像理解原生內建。
Claude API 的快取診斷功能已脫離 beta,不再需要 cache-diagnosis-2026-04-07 請求頭。開發者可在 Messages 請求中帶上 diagnostics 物件來啟用;繼續傳送舊請求頭的呼叫方式不受影響。POST /v1/messages 的回應現在始終包含 diagnostics 欄位,未啟用時該欄位為 null。
德國 AI 公司 Aleph Alpha 於 2026 年 10 月 3 日發布開源權重模型 Kolibri,總引數 78B、啟用引數 3B,支援最長 1M token 上下文,權重已在 Hugging Face 開放下載,採用 Apache 2.0 許可。該模型為英德雙語 MoE Transformer,面向公共管理、工業與航空航天等受監管領域,在 AIME 2025 上得分 96.9,官方稱其效能可對標啟用引數四倍於己的模型。
美國初創公司 Reflection AI 發布首個前沿開源權重模型 Beam,稱其在高階推理基準上以更低推理成本對標中國領先開源模型。Beam 是純文字混合專家模型,總引數 5010 億、啟用 230 億,預訓練用了 23.8 萬億 token,上下文視窗 100 萬 token;對比 Z.ai 的 GLM-5.2 總引數約 7440 億、啟用 400 億。
記憶張量發布並開源 MemT 1.0,稱其為業內首個記憶原生基座模型,歷史資訊被編碼為可更新的內部記憶狀態,隨每輪對話逐 token 更新並可跨會話儲存恢復。兩個版本為 MemT-1.0-Flash(288B 引數、17B 啟用、336M 動態記憶)與 Nano(36B 引數、3B 啟用、10M 動態記憶)。
llama.cpp 建置 b11702 為高通 Adreno X1 系列 GPU 新增 MxFP4 MoE 的 OpenCL bin kernel(gemm_moe_mxfp4_q8_1_dp4a_ila_ldck),並在 X1E 上啟用 dp4a clc,用於加速驍龍裝置上的 MoE 模型推理。
記憶張量開源 MemT 1.0 系列記憶原生模型,最大型號 Flash 總引數 288B、啟用 17B,較小的 Nano 為 36B 總參、3B 啟用。兩者分別在選定的 Transformer 模組里加入與原注意力並行的記憶分支,把經驗編碼成可更新的內部矩陣狀態,據稱為記憶原生模型首次做到近 300B 引數規模的工程驗證。在 SWE-bench Verified 的 500 項任務各跑三次中,Nano 三次全成功率由無經驗的 54.00% 升至 62.80%;
llama.cpp 發布 b11486 建置,Hexagon 後端的 GELU 啟用函式精度得到改進(#30104)。該版本繼續為驍龍平台提供 Hexagon NPU、Adreno GPU 與 CPU 三類後端,覆蓋 Linux arm64、Android arm64 與 Windows arm64。
Meta 發布開源權重模型 Muse Spark Open:816B 總引數、42B 啟用的 MoE,Artificial Analysis 智慧指數 39,為美國開源模型最高分。
有作者撰文反駁“沒人知道大語言模型如何工作”的說法,稱 LLM 是純機械系統。文中拆解一次推理:文字先切成 token 並數值化,經矩陣乘法、注意力、歸一化與非線性變換逐層計算啟用,最終得到下一個 token 的機率分佈並按解碼規則輸出;訓練用損失函式回傳誤差調整引數,日常呼叫不會改動引數。作者強調只要有模型與工具,就能記錄每層啟用、檢查注意力頭與權重、增刪元件觀察變化,Transformer Circuits 與 circuit tracing 等可解釋性研究也在公開推進。
llama.cpp 建置 b11559 為 Gemma-4 啟用 E4B 的 GPU 解碼,並把該支援擴充套件到 E2B,OpenCL 後端不再只覆蓋部分型號。該版本還允許 Gemma-4 使用 DK512,最佳化 DK64 GQA8 與 DK128 GQA4 解碼,並改進 flash attention。
Goodfire 推出讀取模型內部啟用的監控探針,並作為 Baseten 平台功能向客戶開放,用於攔截失控的 AI 智慧體。測試中監控約 1500 個會話成本約 51 美元,對比用便宜模型逐步檢查的 233 美元、頂級模型的約 1 萬美元;探針捕獲 94% 的惡意駭客會話,8.7% 無害會話被送複查,四個探針並行讓模型回應啟動耗時增加不到 2%。客戶可自選監控攻擊性駭客、生化武器濫用、reward hacking 等風險,並設定記錄、人工審查或直接拒絕;
Meta 發布開源權重模型 Muse Spark Open,816B 總引數(42B 啟用)、1M token 上下文,稱其為迄今最強的美國開源權重模型。
llama.cpp 發布建置 b11687,核心改動是重構 ggml-cpu 的 s309x repack 輔助函式(PR #30588)。同批預編譯產物覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler,其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 建置被標記為 DISABLED。
Ollama 發布 v0.40.0,在 Apple Silicon 裝置上,MLX 執行時支援的模型架構將自動改用 MLX 執行。官方範例為 ollama pull qwen3.8 與 ollama run qwen3.8;預發布期間會繼續測試並啟用更多模型。
LM Studio 上線名為 Splash 的實驗性推理後端,使用者可在 Settings > Runtime > Experimental backends 中啟用。官方建議配置為 M3 或更新的 Mac、macOS 26.4 及 36GB 以上記憶體,支援的模型可在應用內搜尋 "incoai" 下載。
llama.cpp 發布 b11594 建置,其中 Vulkan 後端新增多裝置訪問 GPU 可見主機記憶體的能力,並補上了 Windows 支援。該改動(#29741)還清理了多餘的換行、處理 nullptr 並修正啟用條件。
xAI 的 Grok Bot 從今天起向使用者推送,使用者只需向 Bot 提出請求,即可領取自己的收件箱。團隊使用場景下,管理員必須先為團隊啟用該功能。官方給出的入口是 x.ai/bot。
llama.cpp 發布 b11396 版本,主要變更是 Windows 平台的 LLVM 建置需要 Ninja 多配置(#29959)。該版本提供覆蓋 macOS、Linux、Windows、Android 和 openEuler 的預編譯產物,包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端,其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 被標記為…
llama.cpp 建置 b11632 為 CUDA 和 HIP 後端加入 GDN chunked kernel(自 tetherto#257 移植)。在 RTX 3090(SM86)與 RTX 4090(SM89)通過正確性和 prefill 基準測試後,CUDA 側啟用 GDN MMA,其他未測試架構繼續沿用原有 fallback;ggml 側另註明 GDN 只在 n_tokens > K 時保證最終狀態。
llama.cpp 發布 b11389 版本,修復了 Vulkan 後端在 RDNA4 架構上的矩陣向量運算調優問題(PR #29934)。該版本繼續提供覆蓋 macOS、Linux、Windows、Android 等平台的預編譯二進位制,包括 Vulkan、CUDA、ROCm、SYCL 等後端,其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 建置被停用。
Meta 發布開源權重模型 Muse Spark Open:816B 總引數 / 42B 啟用的 MoE,1M token 上下文,支援文字、影像、影片與音訊輸入,Artificial Analysis 智慧指數 39 分,為美國開源權重模型最高,但低於 GLM-5.3(45)與 Kimi K3(44)。
llama.cpp 發布 b11510,CUDA 後端的 PAD kernel 改為迴圈處理,可支援超過 65535 行或切片的填充,解除此前的行數上限(#30147)。該版本同時更新各平台預編譯產物:macOS Apple Silicon 的 KleidiAI 建置仍標記 DISABLED,openEuler 建置也未啟用;
llama.cpp 發布 b11731,ggml-cpu 後端將 ggml_v_silu 與 ggml_v_expf 向量化,提交者為 IBM 的 Aaron Teo,可加速 CPU 推理中的 SiLU 啟用與指數運算。該版本照例更新了各平台預編譯產物,覆蓋 CUDA 12/13、Vulkan、ROCm、SYCL、OpenVINO、Android 及 Windows arm64 等。
llama.cpp 建置 b11709 加入對 Aleph-Alpha 的 Kolibri-1 支援。這是德語/英語雙語 MoE 推理模型,78B 總引數、每 token 啟用 3.46B,50 層、384 個路由專家加 1 個共享專家,注意力以 4 層滑動視窗(視窗 513)交替 1 層全注意力,GQA 為 48 查詢頭對 4 KV 頭。
Ollama 發布 v0.40.0,在 Apple Silicon 裝置上,MLX 執行時支援的模型架構將自動改用 MLX 執行。可用模型包括 qwen3.8、gemma4、qwen3.6、qwen3.5,決策模型 Nimble、tev1、clef、clef-flash 也已登陸 MLX,官方稱會繼續測試並啟用更多模型。
llama.cpp 合併提交 #29863,修復 mtmd 在 Windows 上使用已棄用 strdup 函式產生的編譯警告,由 Hugging Face 的 Adrien Gallouët 提交。該提交隨新版本發布,覆蓋 macOS、Linux、Windows、Android 及 openEuler 等多個平台建置,其中 macOS Apple Silicon 的 KleidiAI 啟用版與 openEuler 部分建置被標記為 DISABLED。
llama.cpp 發布建置 b11459,唯一列出的程式碼改動是 ggml-webgpu 在 WASI 上不再啟用 Dawn 原生特性。該建置的預編譯產物覆蓋 macOS Apple Silicon(arm64)與 Intel(x64)、iOS XCFramework、Linux、Android、Windows 以及 openEuler。後端包括 CPU、Vulkan、CUDA 12、CUDA 13、ROCm 10.0、OpenVINO 與 SYCL;
llama.cpp 發布建置 b11456,其中 ggml-cuda 在緩衝區初始化的 padding memset 中改用每執行緒 stream(#28782),CI 也重新為 ROCm 啟用 test-backend-ops 的 -j 並行測試。該建置覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler,含 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端;
Cloudflare 於 2026 年秋季推出 OHTTP Gateway,作為付費附加功能供客戶在自有 zone 上啟用,目前已開放封閉測試並接受 waitlist 登記。OHTTP 是 IETF 標準,請求經 relay 與 gateway 兩個獨立運營的節點轉發,使應用後端接收 HTTP 請求時看不到使用者 IP。