X @deepseek_ai● 精選AI 評分75
DeepSeek V4.1-Flash 將 KV cache 壓縮至前代四分之一
DeepSeek 公布 V4.1-Flash 的 KV cache 相比上一代只需 1/4 的 HBM 和 1/8 的 SSD 儲存。官方指出快取命中費用常佔 agent 成本很大比例，壓縮快取可顯著降低這部分開銷。
搜尋
找到 23 筆
llama.cpp releasesAI 評分39
llama.cpp 修復 OpenCL 下狀態恢復丟失 KV-cache 的問題
llama.cpp 發布建置 b11910，修復 OpenCL 後端未在 set_tensor 中寫入 KV-cache 檢視、導致狀態恢復（state restore）被丟棄的問題（PR #30471）。
機器之心● 精選AI 評分73
哈工大深圳與 NUS 提出 QuantWM，2-bit KV Cache 壓縮 6.2 倍
哈工大（深圳）與新加坡國立大學團隊提出免訓練 2-bit KV Cache 量化框架 QuantWM，面向影片世界模型，實際壓縮最高 6.20 倍。研究指出，現有量化方法在 VBench 等指標上接近 BF16，畫面卻仍有閃爍、模糊和失真，原因是 Key 的量化誤差改變了注意力分數排序，使模型選中不同的歷史幀或影像塊。
llama.cpp releasesAI 評分42
llama.cpp b11528 修復 tensor 拆分下 KV cache 檢視斷言崩潰
llama.cpp 發布 b11528，修復 meta backend 處理主機記憶體 tensor 檢視時的斷言失敗。此前使用 --split-mode tensor 並配合部分 offload 時，KV cache 的 view 會被留在 meta split 中，導致 ggml_backend_meta_get_split_state() 解引用 tensor->buffer->context 崩潰；
llama.cpp releasesAI 評分47
llama.cpp b11411 修復 KV cache 旋轉後設資料不匹配問題
llama.cpp 發布 b11411，修復恢復 KV cache 時 rotation 後設資料不匹配的問題：現在會儲存精確的 rotation 後設資料，並拒絕恢復與之不匹配的快取。原先的 state rotation 測試被移入 test-save-load-state，納入儲存/載入測試矩陣，對所有受測模型執行，並探測模型支援的 KV cache 型別組合，不使用 attention rotation 的模型視為空通過。
Hacker News front page● 精選AI 評分79
Cloudflare 修復 GLM-5.3 跨請求 KV 快取洩露
Cloudflare 披露 Workers AI 上的 GLM-5.3 出現跨請求 KV 快取洩露，155 條回應混入了其他使用者請求的資料。問題從 8 月 27 日持續到 9 月 9 日，隻影響長度超過 681,280 token 的提示詞：上下文視窗設為 1,048,576 token，但 prefill KV 池只有 681,280 token，SGLang 遇到超長請求時沒有返回錯誤，解碼節點反而讀取了殘留的快取頁。
llama.cpp releasesAI 評分40
b11890
llama.cpp 發布 b11890 建置，集中修復 DeepSeek V4.1（DSV4）的支援。該版本中，KV-cache 的 DSV4 K mirror 改用 ggml_backend_tensor_copy 填充，Engram pad id 與 token map 分別移入 llama_hparams 和 llama_model，saver 不再需要 deepseek41 模型類；
llama.cpp releases● 精選AI 評分68
llama.cpp Hexagon 的 flash_attn 改為按 KV 頭切分
llama.cpp 的 Hexagon 後端在 row-split 多核模式下把 flash_attn 從按 Q token 切分改為按 KV head 切分，讓每個核心只讀自己負責的那部分 KV cache，不再重複讀取全部 KV cache。該行為由 GGML_HEXAGON_FA_HEAD_SPLIT 控制，預設開啟；當 n_kv_heads 不能被核心數整除時回退到原 token-block 切分（如 4 核上只有 2 個 KV head 的 Gemma-4）。
Hacker News front pageAI 評分69
Cerebras 用 59 片晶圓部署 3 萬億引數 Kimi K3
Cerebras 詳解如何在自研 WSE-3T 晶圓上部署萬億引數模型：以開源的約 3 萬億引數 Kimi K3 為例，需要 59 片晶圓，可跑到 1000–2000+ tokens/s。每片晶圓有 44GB 片上記憶體，按 4-bit 權重、8-bit KV cache、256k 上下文計算，69 個線性注意力層每片放 2 層、24 個稠密層每片放 1 層。
llama.cpp releasesAI 評分42
llama.cpp 的 Anthropic 相容端點開始透傳 id_slot
llama.cpp 建置 b11756 修復了 Anthropic /v1/messages 轉換路徑不轉發 id_slot 的問題：服務端在把 Anthropic 請求轉成內部 OAI 格式時只複製了一份常用引數白名單，遺漏了 id_slot，導致需要把會話固定到快取了 KV cache 的槽位的代理只能退回自動選槽，在混合/迴圈模型上還要重新做完整的 prefill。
llama.cpp releasesAI 評分42
llama.cpp Vulkan 為 AMD 最佳化 f16/bf16 KV 複製
llama.cpp 建置 b11647 的 Vulkan 後端為 AMD 顯示卡最佳化了 f16/bf16 KV cache 的 strided 複製：先把 KV 一次性拷到 scratch，使跨記憶體通道的讀取分散，而不是集中在少數通道上。改動刪掉了專用的反量化 shader，改為複用已有的通用 copy pipeline——f16 分支只需要 strided copy，不需要 dequant；複製按源記憶體順序描述，讓跨步訪問落在順序寫入端。
llama.cpp releasesAI 評分46
llama.cpp 將無快取注意力的 KV 維度填充到 256，修復 Flash Attention 回退 CPU
llama.cpp b11576 把無快取注意力路徑的 KV 維度填充到 256，修復了該路徑下 Flash Attention 回退 CPU 的問題。
量子位● 精選AI 評分81
位元組 Seed 發現 DeepSeek-V4 準確率隨輸入位置週期性波動
位元組 Seed 團隊發現，DeepSeek-V4 系列在 128K 長上下文檢索中的準確率會隨目標資訊的位置以 4 個 Token 為週期起伏，同一條資訊換個位置最多相差 40.2 個百分點，V4-Pro-Base 也有 34.8 個百分點。原因指向其為省記憶體採用的分塊 KV Cache 壓縮：資訊在壓縮視窗內所處相位不同，檢索能力就出現系統性差異，團隊稱之為相位敏感性，並用基於 Qwen3-0.6B 自訓的多種分塊壓縮模型復現了同樣的週期。
llama.cpp releasesAI 評分46
llama.cpp 為 Hexagon NPU 多核 flash attention 加入 KV 頭拆分
llama.cpp 新建置 b11868 給驍龍 Hexagon NPU 的多核 HMX flash attention 加入了 KV 頭分組拆分，並把原來的 FA_HEAD_SPLIT 與 FA_SPLIT 兩套開關合併為單一開關 GGML_HEXAGON_FA_SPLIT。設為 0 時只做 token 拆分；
llama.cpp releasesAI 評分47
llama.cpp 修復共享序列 k-pool 資料競爭
llama.cpp 合併 PR #29994，修復 CPU 後端在共享序列（seq_cp）場景下 k-pool 的散射寫入資料競爭：多個共享同一 cell 的序列會從不同 scatter 條目寫同一 rep 行。
llama.cpp releasesAI 評分46
llama.cpp server 的 prompt cache 只儲存可恢復狀態
llama.cpp 更新 server 的 prompt cache 邏輯：現在只儲存可恢復的 slot 狀態（PR #30498）。此前每個任務啟動時都會把空閒 slot 全部寫入快取，rerank、embedding、decision、infill 的狀態填滿快取卻從不被讀回；
llama.cpp releasesAI 評分29
llama.cpp 把三項上下文狀態測試合併為單個二進位制 test-llama-context
llama.cpp 建置 b11596 將 test-save-load-state、test-recurrent-state-rollback、test-state-restore-fragmented 三項上下文狀態測試合併為單一二進位制 test-llama-context，一次執行覆蓋 130 多個模型。
DeepSeek news● 精選AI 評分94
DeepSeek 發布 V4.1-Flash，552B MoE 僅 8B 啟用引數
DeepSeek 上線 V4.1-Flash，採用 552B 引數 MoE 與新的因果編解碼架構，輸入僅 8B、輸出 16B 啟用引數，原生支援視覺理解。官方稱其基準成績超過旗艦 V4-Pro，KV cache 只需上代 1/4 的 HBM 和 1/8 的 SSD 儲存。
Google Developers blog● 精選AI 評分72
vLLM 與 SGLang 新增 TPU 原生 PyTorch 後端
vLLM 與 SGLang 新增由 TorchTPU 驅動的原生 PyTorch 後端，開發者可用熟悉的 PyTorch 工具在 TPU 上執行並調優推理服務。引擎內建最佳化過的 TPU kernel、基於 TPU Sync 的 KV cache 管理和分離式 serving（disaggregated serving），這些能力由專案維護者與官方合作完成。
機器之心● 精選AI 評分86
DeepSeek 開源推理框架 DeepInfer，單卡每小時收入 38 美元
DeepSeek 以 Apache 2.0 開源內部推理框架 DeepInfer 及配套編解碼元件 deepseek-recipe，當前支援 DeepSeek-V4.1-Flash。官方披露單叢集每天吞吐 155 萬億 token，按 API 谷價摺合每卡每小時 38 美元收入，有人以每張 B300 每小時 7 美元租金估算毛利率約 82%。
Hacker News front pageAI 評分72
斯坦福 Ousterhout 提出 Homa 協議替代 TCP
斯坦福教授 John Ousterhout 在 AI Engineer 演講中提出 Homa，一種面向資料中心的全新傳輸協議，認為 TCP 和 RDMA 正成為 AI 叢集的瓶頸。他指出 AI 負載已從大流量梯度傳輸轉向 KV cache 查詢、屏障同步等小訊息協調，這類訊息對延遲敏感，一旦與大數據流混排就會陷入 incast 佇列，拖高尾延遲並讓 GPU 空轉。Homa 基於訊息而非位元組流，採用接收端驅動的擁塞控制，並用 SRPT 優先排程短訊息。
機器之心● 精選AI 評分76
阿里千問 TRACE 讓 FP4 強化學習 Rollout 最高提速 5.4 倍
阿里千問與俄亥俄州立大學提出 TRACE，用 Rollout 側真實 FP4 量化結果指導訓練側舍入方向，在四個 Qwen MoE 模型上把聯合 FP4 權重啟用與 FP4 KV Cache 的 RL 效能拉回 BF16 水平。Qwen3.5-35B-A3B 平均分 75.3，高於 BF16 Rollout 的 74.9，遠超普通 QAT 的 59.6 和 QUADS 的 68.8；128K 輸出長度下解碼吞吐最高提升 5.4 倍，端到端 RL step 僅增約 7.4% 開銷。
Qwen blog● 精選AI 評分80
阿里開源 Qwen-Image-2.1，7B 引數統一生成與編輯
阿里開源 Qwen-Image-2.1，將文生圖與影像編輯統一到單一模型，視覺生成元件僅 7B 引數，原生支援生成和編輯透明影像。該模型最多可接受 10 張參考圖，支援圈選、塗抹和獨立掩碼三種區域性編輯方式，並提升人像身份與商品一致性。採用混合粒度注意力架構，KV cache 複用輸入影像與編輯指令以降低視訊記憶體佔用，權重已在 GitHub、Hugging Face 和 ModelScope 發布。