GLM-5.3 上線 Amazon Bedrock
@Zai_org 宣布 GLM-5.3 已在 Amazon Bedrock 上線,企業使用者可通過該平台呼叫。官方稱其為企業帶來更強的程式設計與 agentic 能力,並附上 AWS 文件中的模型卡連結作為接入入口。除上線渠道與能力定位外,本次未披露定價、上下文長度、可用區域等細節。
依意思最接近的 30 筆
@Zai_org 宣布 GLM-5.3 已在 Amazon Bedrock 上線,企業使用者可通過該平台呼叫。官方稱其為企業帶來更強的程式設計與 agentic 能力,並附上 AWS 文件中的模型卡連結作為接入入口。除上線渠道與能力定位外,本次未披露定價、上下文長度、可用區域等細節。
開源權重模型 GLM 5.3 能利用已發布但未推送給使用者的安全修復,攻破 2026 年 9 月 17 日至 10 月 26 日間發布的 Firefox 版本。實驗中,它生成一個網頁,Firefox 使用者訪問後無需進一步互動,就會被讀取並外傳本地檔案;每個版本攻擊成本約 1000 美元,且未觸發包括 Z.ai 在內的供應商安全攔截。GLM 5.3 還同時發現並利用了一個未公開漏洞,Mozilla 已在 10 月 27 日發布的 Firefox 159.0 中修補。
九章雲極為 GLM-5.3 推出推測解碼加速方案 Alaya-DFlash2,在 8×H200、TP=8 單併發下解碼速度達 288.2 tokens/s,為原生自迴歸 84.5 tokens/s 的 3.41 倍,總輸出吞吐從 78.95 提升至 236.47 tokens/s。64 併發時吞吐 608.71 tokens/s,較原生提升 44.9%;32k 上下文下草稿接受長度 5.39,高於參評的 IncoAI-DFlash2 與 RedHat-DSpark。
llama.cpp 合併 PR #29071,修復 SYCL 後端在 Flash Attention(FA)中混用不同型號 GPU 時出現的問題。改動位於 ggml/src/ggml-sycl/ggml-sycl.cpp,提交由 Georgi Gerganov 共同署名。該修復包含在版本 b11464 中,此版本同時提供 Ubuntu x64(SYCL FP32、FP16)與 Windows x64(SYCL)等建置。
Google 將停止 Gemini Flash 和 Pro 模型的免費使用,使用者需付費訂閱才能繼續使用。此舉在 r/GeminiAI 社群引發大量討論,使用者對 Flash 被納入付費範圍尤為不滿,認為 Flash-Lite 能力不足。部分使用者表示將轉向 ChatGPT、Claude 或 DeepSeek 等替代方案。
Cloudflare 披露 Workers AI 上的 GLM-5.3 出現跨請求 KV 快取洩露,155 條回應混入了其他使用者請求的資料。問題從 8 月 27 日持續到 9 月 9 日,隻影響長度超過 681,280 token 的提示詞:上下文視窗設為 1,048,576 token,但 prefill KV 池只有 681,280 token,SGLang 遇到超長請求時沒有返回錯誤,解碼節點反而讀取了殘留的快取頁。
llama.cpp 發布 b11786 建置,ggml-cpu 後端的 f32 gelu_quick 與 geglu_quick 改為不依賴 fp16 查表直接計算,同時保留 GGML_GELU_QUICK_FP16 表路徑,並新增 VXE 的 gelu_quick 路徑。該版本還為 f32 CPU 核心補充 test-gelu-quick 測試,並從其中移除 inf/nan 輸入。
llama.cpp 的 SYCL 後端放行了 GLM-4.7 Flash 的 MLA 形狀走 MKL flash attention,此前該形狀因 K/V 寬度不一致、head dim 上限 512 被排程器拒絕,預填充只能回退到更慢的 TILE kernel。在 Intel Arc Pro B70 上,pp8192 從 432.80 提升到 1292.29 tok/s(2.99 倍,+198.6%),tg256 在噪聲範圍內基本不變(45.67 對 45.65)。
llama.cpp 發布 b11515,主要變更是 SYCL 後端為 Q5_K 量化補上重排佈局的 MMVQ 核心,並加入融合 GLU(#29375),面向 Intel GPU 的量化推理。建置矩陣照舊覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler,包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端;
NVIDIA 在 GTC 柏林公布本地 AI 硬體全線進展:DGX Spark 64GB 將於 10 月 23 日由合作伙伴開售,最多八臺組成叢集、合計 1TB 統一記憶體。DGX Station for Windows 定於 12 月推出,支援製造業應用與 agent harness;Linux 版 DGX Station 以 748GB 一致記憶體服務 30 名以上使用者。
llama.cpp 發布 b11731,ggml-cpu 後端將 ggml_v_silu 與 ggml_v_expf 向量化,提交者為 IBM 的 Aaron Teo,可加速 CPU 推理中的 SiLU 啟用與指數運算。該版本照例更新了各平台預編譯產物,覆蓋 CUDA 12/13、Vulkan、ROCm、SYCL、OpenVINO、Android 及 Windows arm64 等。
llama.cpp 發布 b11466,唯一程式碼改動是修復 ggml-webgpu 後端 flash_attn 對 KV 重疊情形的 supports_op 檢查(#28205)。該版本同步更新各平台預編譯包,涵蓋 macOS/iOS、Linux、Windows、Android 與 openEuler,後端包括 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO,以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU;
Anthropic 兩位安全研究員 William Zhou 與 Daniel Freeman 發布「自主複製與適應(ARA)」安全實驗:在 8 個 GCP 節點(Android 15 redroid)組成的隔離網路裡,GLM-5.2 在 5 次測試中 4 次自主攻陷並部署全部 8 臺裝置,另 1 次拿下 7 臺。研究還顯示,Qwen3.5-9B 能在 9 種硬體中的 8 種上自行排錯並部署 Llama3.1-8B;
llama.cpp 合併 PR #14891,為 GGUF 格式 imatrix 引入基於啟用值的統計計算,新增 --activation-statistics 引數。該功能可計算啟用熵、餘弦相似度、L2 範數及歐氏-餘弦分數(ECS),並支援外部 NextN 草稿檔案(-md / --model-draft)。預設不啟用啟用統計以避免 imatrix 體積翻倍,統計報告佈局與排序也按 imatrix 型別更新。
從 10 月 9 日起,Google Gemini 免費方案使用者只能使用 Flash Lite 模型,此前免費使用者可在 Flash Lite、Flash 和 Pro 之間選擇。標準 Flash 模型改為需要每月 4.99 美元的 Google AI Plus 訂閱,而該訂閱也將不再包含 Gemini Pro,Google 表示會發郵件通知 AI Plus 使用者何時失去存取權限。
llama.cpp 合併 PR #29928,為 GLM5-Next 加入多 token 預測(MTP)的 NextN 計算圖,使其能作為投機解碼的 draft 模型使用。改動包括支援只含 NextN 層或只含主幹張量的拆分 GGUF 檔案載入,並把 MTP 圖按輸出行裁剪,無輸出行的 4-token catch-up 核心耗時從 6.9 ms 降到 2.9 ms,貪心輸出雜湊與 draft 接受率不變。
llama.cpp 新建置 b11880 在合併 GGUF 張量資料時,會拒絕被截斷的資料,避免合出損壞的模型檔案;對應提交為 #31044,改動位於 tools。該版本仍覆蓋 macOS Apple Silicon、iOS、Linux(CUDA 12/13、ROCm、Vulkan、SYCL、OpenVINO)、Android 與 Windows 等平台,但啟用 KleidiAI 的 macOS Apple Silicon 建置和 openEuler 建置在本期被標記為停用。
llama.cpp 建置 b11759 為 ggml-zdnn 後端新增 flash attention 運算元(fattn),並去掉原有的 scratch slots,改用 scratch buffer pool 統一管理臨時緩衝,文件也補上了關於 fattn 的說明。該後端面向 IBM Z 的 s390x 平台,本次改動隻影響使用 zDNN 加速的建置。
llama.cpp 建置 b11854 為 Vulkan 後端加入 ggml src1 精度支援,並更新累加器精度選擇邏輯。改動通過縮放處理 fp32 溢位,並修復 copy-to-fp16 啟用中的溢位問題;同時補充 ggml 精度查詢輔助函式、在 mul_mat 中增加檢查與測試,並統一命名為 acc_prec。此次建置仍覆蓋 macOS、Linux、Windows、Android 的 Vulkan、CUDA、ROCm、SYCL、OpenVINO 等後端二進位制。
v0.40.7-rc1 把 GGML 與 MLX 兩個後端共用的 CUDA 庫合併進同一個 CUDA payload 目錄,消除重複打包。程序內和子程序載入 MLX 時都會解析這個打包依賴目錄;MLX 私有庫與 JIT 標頭檔案仍保留在 MLX overlay 中。此外補齊 OpenBLAS 的完整 Fortran 執行時依賴閉包,並在發布打包流程中校驗這些依賴。
llama.cpp 發布 b11985,Metal 後端三項改動提速:MXFP4 矩陣向量核心改用 fp16 位技巧解碼 fp4 值、以對齊的 32 位字載入打包 nibble,不再佔用 threadgroup 記憶體;連續 unary/binary 與行廣播 binary 路徑改為每 threadgroup 最多 256 執行緒並對尾部做邊界檢查;GLU 的每行拆分到多個 threadgroup,單行 decode 不再只用一個 threadgroup。
智譜在 Zcode 3.15.1 中灰度上線高速模型 GLM-5.3-Highspeed,訂閱使用者隨機獲得體驗資格,有網友實測速度達 490 tokens/s。作為對比,上月亮相的 GLM-5.3-FlashX 最高 200 tokens/s,GLM-5.3-Flash 在 Z.ai API 上約 60 tokens/s。
llama.cpp 發布 b11823 建置,主要改動是最佳化 GLM-5 的輸入處理,避免 sel_mask_2d 輸入,cont 路徑也不再新建 pool_flat 輸入。
llama.cpp 發布 b11486 建置,Hexagon 後端的 GELU 啟用函式精度得到改進(#30104)。該版本繼續為驍龍平台提供 Hexagon NPU、Adreno GPU 與 CPU 三類後端,覆蓋 Linux arm64、Android arm64 與 Windows arm64。
ggml 修復了 CLAMP 運算元在非連續檢視上的定址錯誤,涉及 CPU 與 CUDA 後端。CUDA 此前按 ggml_nelements 做平坦處理、忽略檢視 stride,CPU 則把第 j 行按 j*nb01 定址、忽略 nb02/nb03;現在兩者都改為遵循 dims 1..3 的 stride,且 CUDA 的 supports_op 要求行連續,與 Metal 一致。
llama.cpp 發布 b11518,Metal 後端加入 128 與 96 兩檔 Flash Attention 核心,並接受所有已編譯的維度組合(#30209)。該版本同時提供 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯產物,覆蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、SYCL、OpenVINO 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU;
llama.cpp b11800 為 QSA 新增融合運算元,並將原本只服務 qwen4exp 與 glm5-next 池化選擇的 k-pool mask 推廣為通用 ggml_top_k_mask,DSA 模型與 DeepSeek V4 CSA 也改用該運算元。它保留 top-k 選中與額外保留的 mask 單元、其餘置為 -inf,可按 head 逐行選擇,後端不支援時回退原路徑。
GLM-Legal 正式發布,基於 GLM-5.3-Flash 建置,官方稱其在主流法律基準上可對標前沿模型。該模型面向合同審查、證據分析、合規等真實法律工作流,技術部落格已同步上線。API 訪問需提交申請,另可通過 AutoClaw 先行試用。
llama.cpp 建置 b11632 為 CUDA 和 HIP 後端加入 GDN chunked kernel(自 tetherto#257 移植)。在 RTX 3090(SM86)與 RTX 4090(SM89)通過正確性和 prefill 基準測試後,CUDA 側啟用 GDN MMA,其他未測試架構繼續沿用原有 fallback;ggml 側另註明 GDN 只在 n_tokens > K 時保證最終狀態。
llama.cpp 建置 b11906 把 ggml-cpu 的 concat 重寫為單個按行執行的 kernel,所有型別共用一套實現,量化型別也包含在內:稠密源行只需一次 memcpy,轉置源則按元素逐個複製,元素大小在編譯期已知。行不再只沿 i2 維度切分(該維度常為 1),而是按 32 行一組分塊分給多執行緒;遇到轉置源時在外層迴圈遍歷元素,讓同一 tile 的各行讀取相鄰地址。