依意思最接近的 15 筆
模型雲服務商 Neuralwatt 分析一個月流量發現，同一模型下不同 agent harness 的 prompt 快取命中率差異明顯，未快取輸入佔 1.6%–11.1%，而一次快取未命中會讓請求能耗約為全快取時的兩倍，GLM-5.3 上接近 2.5 倍。命中率 92% 相當於每 100 個輸入 token 有 8 個未快取，97% 時只有 3 個，prefill 工作量相差 2.7 倍。
llama.cpp 發布 b11583，主要改動是在「no cache」路徑下避免圖記憶體的重複分配（#30439），即不使用 prompt 快取時可減少反覆申請與釋放視訊記憶體/記憶體。該版本照例提供 macOS、Linux、Windows、Android 等平台的預編譯包，其中 macOS Apple Silicon 的 KleidiAI 建置和 openEuler 建置本次標記為 DISABLED。
llama.cpp 更新 server 的 prompt cache 邏輯：現在只儲存可恢復的 slot 狀態（PR #30498）。此前每個任務啟動時都會把空閒 slot 全部寫入快取，rerank、embedding、decision、infill 的狀態填滿快取卻從不被讀回；
llama.cpp b11576 把無快取注意力路徑的 KV 維度填充到 256，修復了該路徑下 Flash Attention 回退 CPU 的問題。
llama.cpp 發布 b11411，修復恢復 KV cache 時 rotation 後設資料不匹配的問題：現在會儲存精確的 rotation 後設資料，並拒絕恢復與之不匹配的快取。原先的 state rotation 測試被移入 test-save-load-state，納入儲存/載入測試矩陣，對所有受測模型執行，並探測模型支援的 KV cache 型別組合，不使用 attention rotation 的模型視為空通過。
llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體，把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB，262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變，僅分數因 fp32 舍入有差異；有使用者反饋解碼速度約降 10%。
llama.cpp 發布建置 b11690，common 模組中 ngram 快取的分片改為按引用讀取、不再複製，以減少複製。該版本給出的官網地址是 llama.app，預編譯產物覆蓋 macOS Apple Silicon 與 Intel、iOS XCFramework，Linux 的 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL，Android arm64 及 Snapdragon 的 CPU、Adreno GPU、Hexag…
llama.cpp 發布 b11446，Metal 後端修復量化 flash attention 中 threadgroup memory 超額佔用的問題，對應 PR #29340。
llama.cpp 新版修復了請求指定繁忙 id_slot 時的上下文錯亂問題。此前這類請求仍會先在該 slot 上執行 prompt cache 更新，若 RAM 快取命中更好的匹配，就會把新上下文載入仍在生成中的 slot，導致生成在錯誤上下文上繼續；現在繁忙 slot 會原樣返回，請求排隊等待（#30295）。
llama.cpp 發布建置 b11600，主要修復無快取注意力中 KQ 偏置未填充的問題：T5 會額外加入形狀為 [n_tokens, n_tokens] 的相對位置偏置，當 n_tokens 不能整除填充後的寬度時，與 KQ 相加會失敗，現在按 K、V 的做法用零把偏置填充到 mask 的 KV 維度。
llama.cpp 合併 PR #29639，為 Vulkan 後端加入針對量化 K/V 快取的稀疏 Flash Attention，並把稀疏 FA 的索引壓縮改為單次掃描。原實現每行 mask 用一個 workgroup、按 BLOCK_SIZE 分塊各做一次掃描，解碼時單個 workgroup 要跑 KV/1024 次受 barrier 限制的迭代，128k 單元格下開銷超過它服務的稀疏注意力本身。
掃描 Common Crawl 2026 年 9 月抓取的 2.17 億個頁面回應後發現，7,959 個站點的 HTTP 回應頭是寫給 AI 系統的：其中 7,271 個是指向 llms.txt 或 MCP 伺服器的指標，只有 30 個含注入指令（24 個藏在 X-AI 頭中），多為惡作劇。另有 139 個站點用回應頭記錄是否把客戶端識別為 AI bot。
llama.cpp 發布建置 b11456，其中 ggml-cuda 在緩衝區初始化的 padding memset 中改用每執行緒 stream（#28782），CI 也重新為 ROCm 啟用 test-backend-ops 的 -j 並行測試。該建置覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，含 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端；
llama.cpp 合併 PR #29994，修復 CPU 後端在共享序列（seq_cp）場景下 k-pool 的散射寫入資料競爭：多個共享同一 cell 的序列會從不同 scatter 條目寫同一 rep 行。
llama.cpp 發布建置版本 b11390，主要修復了 CUDA 後端在 n_expert 遠大於 n_ubatch 時的 MMQ 記憶體故障（#29941）。