依意思最接近的 19 筆
Cloudflare 披露 Workers AI 上的 GLM-5.3 出現跨請求 KV 快取洩露，155 條回應混入了其他使用者請求的資料。問題從 8 月 27 日持續到 9 月 9 日，隻影響長度超過 681,280 token 的提示詞：上下文視窗設為 1,048,576 token，但 prefill KV 池只有 681,280 token，SGLang 遇到超長請求時沒有返回錯誤，解碼節點反而讀取了殘留的快取頁。
哈工大（深圳）與新加坡國立大學團隊提出免訓練 2-bit KV Cache 量化框架 QuantWM，面向影片世界模型，實際壓縮最高 6.20 倍。研究指出，現有量化方法在 VBench 等指標上接近 BF16，畫面卻仍有閃爍、模糊和失真，原因是 Key 的量化誤差改變了注意力分數排序，使模型選中不同的歷史幀或影像塊。
llama.cpp 發布 b11411，修復恢復 KV cache 時 rotation 後設資料不匹配的問題：現在會儲存精確的 rotation 後設資料，並拒絕恢復與之不匹配的快取。原先的 state rotation 測試被移入 test-save-load-state，納入儲存/載入測試矩陣，對所有受測模型執行，並探測模型支援的 KV cache 型別組合，不使用 attention rotation 的模型視為空通過。
llama.cpp b11576 把無快取注意力路徑的 KV 維度填充到 256，修復了該路徑下 Flash Attention 回退 CPU 的問題。
llama.cpp 合併 PR #29639，為 Vulkan 後端加入針對量化 K/V 快取的稀疏 Flash Attention，並把稀疏 FA 的索引壓縮改為單次掃描。原實現每行 mask 用一個 workgroup、按 BLOCK_SIZE 分塊各做一次掃描，解碼時單個 workgroup 要跑 KV/1024 次受 barrier 限制的迭代，128k 單元格下開銷超過它服務的稀疏注意力本身。
llama.cpp 發布建置 b11910，修復 OpenCL 後端未在 set_tensor 中寫入 KV-cache 檢視、導致狀態恢復（state restore）被丟棄的問題（PR #30471）。
OpenAI 開發者帳號宣布，提示快取的保留時長現在可以選擇 12 小時，也可以繼續使用預設的 30 分鐘，或在同一次請求裡混用兩種時長：共享指令用 12 小時，較新的對話內容用 30 分鐘。官方表示，如果一整天都要反覆複用同一段上下文，反覆命中快取省下的錢可能明顯超過 12 小時快取多出的成本。
llama.cpp 發布建置 b11604，為 KleidiAI 加入 SME2 指令集的 Q4_K 與 Q6_K 矩陣乘支援，補丁編號 #29219，提交者來自 Arm。SME2 屬於 Armv9 的矩陣擴充套件，這項改動面向支援該指令集的 Arm CPU，用於加速這兩種常用量化格式的矩陣乘法。同一版本中，macOS Apple Silicon 的 KleidiAI 啟用建置被標記為 DISABLED，openEuler 也有一項標註 DISABLED；
Arena.ai 的 Code Arena 程式設計對戰中出現兩個匿名模型 Kibitz 與 Kalmia，社群普遍認為分別是月之暗面的 Kimi K3.1 和阿里 Qwen 4。有人發現 Kimi 官方域名配置介面曾返回切換目標 k3.1（當晚即被撤回），且 Kibitz 對 11 個用於識別 Moonshot 模型的特殊 token 均出現亂碼，與以往 Kimi 模型表現一致。成本上，Kibitz 完成同樣任務的 token 成本約為 GPT-6 Astra 的 1/14；
Kimi 開源最新模型 K2.6，主打編碼、長程執行與 agent swarm，已上線 Kimi.com、App、API 和 Kimi Code。官方稱其在 Mac 上本地部署 Qwen3.5-0.8B 並用 Zig 實現推理最佳化，經 4000+ 次工具呼叫、12 小時、14 輪迭代，吞吐從約 15 提升到約 193 tokens/s，比 LM Studio 快約 20%；另以 13 小時重構 8 年曆史的 exchange-core，中等吞吐提升 185%。
OpenAI API 現在可以選擇 12 小時 prompt caching，快取輸入繼續按更低費率計費。該選項面向全天複用上下文的持久型 agent（如 dots）：共享指令、工具和上下文可以保留在快取中更久，即使兩次請求相隔數小時，仍可命中快取並支付 cached-input 價格。對需要長時間維持同一套上下文的 API 呼叫方，這意味著可在 12 小時內跨多次請求複用同一套上下文。
模型雲服務商 Neuralwatt 分析一個月流量發現，同一模型下不同 agent harness 的 prompt 快取命中率差異明顯，未快取輸入佔 1.6%–11.1%，而一次快取未命中會讓請求能耗約為全快取時的兩倍，GLM-5.3 上接近 2.5 倍。命中率 92% 相當於每 100 個輸入 token 有 8 個未快取，97% 時只有 3 個，prefill 工作量相差 2.7 倍。
Jev 發布 33 天后熱度迅速消退，這篇評論借它批評 AI 行業靠營銷話術製造期待。文章指出 Jev 本質是通用分類器，宣稱不會幻覺、更快更便宜，但輸出仍會出錯，且已有開放權重模型在部分任務上價效比更高，並可在本地執行。作者還稱其非自迴歸決策模型思路早於 Jev 一年半出現，並由此質疑行業四年來的創新增量。
llama.cpp 更新 server 的 prompt cache 邏輯：現在只儲存可恢復的 slot 狀態（PR #30498）。此前每個任務啟動時都會把空閒 slot 全部寫入快取，rerank、embedding、decision、infill 的狀態填滿快取卻從不被讀回；
llama.cpp 建置 b11647 的 Vulkan 後端為 AMD 顯示卡最佳化了 f16/bf16 KV cache 的 strided 複製：先把 KV 一次性拷到 scratch，使跨記憶體通道的讀取分散，而不是集中在少數通道上。改動刪掉了專用的反量化 shader，改為複用已有的通用 copy pipeline——f16 分支只需要 strided copy，不需要 dequant；複製按源記憶體順序描述，讓跨步訪問落在順序寫入端。
llama.cpp 的 Hexagon 後端在 row-split 多核模式下把 flash_attn 從按 Q token 切分改為按 KV head 切分，讓每個核心只讀自己負責的那部分 KV cache，不再重複讀取全部 KV cache。該行為由 GGML_HEXAGON_FA_HEAD_SPLIT 控制，預設開啟；當 n_kv_heads 不能被核心數整除時回退到原 token-block 切分（如 4 核上只有 2 個 KV head 的 Gemma-4）。
llama.cpp 發布 b11640，Vulkan 後端針對 cm2 mulmat 的矩陣乘法改用對 L2 快取更友好的 workgroup 排程（#30215）。同一版本把 macOS Apple Silicon 的 KleidiAI 建置標記為 DISABLED，並重新整理各平台預編譯包：Ubuntu 與 Windows x64 新增 ROCm 10.0，CUDA 13 建置對應 CUDA 13.4 庫。
llama.cpp 發布 b11583，主要改動是在「no cache」路徑下避免圖記憶體的重複分配（#30439），即不使用 prompt 快取時可減少反覆申請與釋放視訊記憶體/記憶體。該版本照例提供 macOS、Linux、Windows、Android 等平台的預編譯包，其中 macOS Apple Silicon 的 KleidiAI 建置和 openEuler 建置本次標記為 DISABLED。
Kimi 發布 K3.1 Pro，號稱最強開放權重模型：MoE 架構 2.8T 總引數、104B 啟用引數，支援 1M token 上下文與多模態輸入。官方稱其在程式設計、agentic 與知識類基準上追平最強閉源模型，可完成 Unreal、Unity、Godot 整專案遊戲開發，擅長 Blender 與 CAD 引數化 3D 建模，金融任務幻覺率下降 65%。