依意思最接近的 14 筆
模型雲服務商 Neuralwatt 分析一個月流量發現，同一模型下不同 agent harness 的 prompt 快取命中率差異明顯，未快取輸入佔 1.6%–11.1%，而一次快取未命中會讓請求能耗約為全快取時的兩倍，GLM-5.3 上接近 2.5 倍。命中率 92% 相當於每 100 個輸入 token 有 8 個未快取，97% 時只有 3 個，prefill 工作量相差 2.7 倍。
OpenAI Devs 表示，團隊用 Rust 重寫服務層，降低了代理開銷。對認證後設資料這類每個請求都必需的小型關鍵資料集，團隊保留了廣泛複製；設定和應用狀態等高頻訪問資料則由區域內快取提供。推文列出這三項基礎設施最佳化，但未給出延遲、吞吐等具體數字或生效範圍。
OpenAI 將全球儲存讀取的中位延遲從約 120ms 降到約 10ms。官方稱，這一變化來自快取、複製以及 Python 到 Rust 的重寫共同作用，產品團隊因此需要管理的基礎設施更少、迭代更快。該訊息由 OpenAI Devs 發布，並連結到《Scaling Storage to One Billion Users, Part Two》一文。
OpenAI 開發者帳號宣布，提示快取的保留時長現在可以選擇 12 小時，也可以繼續使用預設的 30 分鐘，或在同一次請求裡混用兩種時長：共享指令用 12 小時，較新的對話內容用 30 分鐘。官方表示，如果一整天都要反覆複用同一段上下文，反覆命中快取省下的錢可能明顯超過 12 小時快取多出的成本。
Anthropic 推出 Claude Haiku 5.5（claude-haiku-5-5），面向高併發與低延遲場景，支援 1M token 上下文、128k 最大輸出，並預設開啟帶 effort 引數的自適應思考。這是一次破壞性升級：手工 extended thinking（budget_tokens）、temperature/top_p/top_k 取樣引數與 assistant 訊息預填都會返回 400 錯誤，需按遷移指南改寫。
Claude 官方帳號宣布將 Claude Sonnet 5.5 的快取讀取價格減半，降至每百萬 token 0.10 美元。官方稱這讓 Sonnet 5.5 在大多數長時間執行的工作負載上成本降低約 20%。快取讀取對應複用已寫入快取的提示內容，此次調價直接影響長上下文、多輪複用場景下的呼叫開銷。
llama.cpp 更新 server 的 prompt cache 邏輯：現在只儲存可恢復的 slot 狀態（PR #30498）。此前每個任務啟動時都會把空閒 slot 全部寫入快取，rerank、embedding、decision、infill 的狀態填滿快取卻從不被讀回；
llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體，把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB，262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變，僅分數因 fp32 舍入有差異；有使用者反饋解碼速度約降 10%。
OpenAI API 現在可以選擇 12 小時 prompt caching，快取輸入繼續按更低費率計費。該選項面向全天複用上下文的持久型 agent（如 dots）：共享指令、工具和上下文可以保留在快取中更久，即使兩次請求相隔數小時，仍可命中快取並支付 cached-input 價格。對需要長時間維持同一套上下文的 API 呼叫方，這意味著可在 12 小時內跨多次請求複用同一套上下文。
llama.cpp 發布 b11583，主要改動是在「no cache」路徑下避免圖記憶體的重複分配（#30439），即不使用 prompt 快取時可減少反覆申請與釋放視訊記憶體/記憶體。該版本照例提供 macOS、Linux、Windows、Android 等平台的預編譯包，其中 macOS Apple Silicon 的 KleidiAI 建置和 openEuler 建置本次標記為 DISABLED。
llama.cpp 發布建置 b11690，common 模組中 ngram 快取的分片改為按引用讀取、不再複製，以減少複製。該版本給出的官網地址是 llama.app，預編譯產物覆蓋 macOS Apple Silicon 與 Intel、iOS XCFramework，Linux 的 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL，Android arm64 及 Snapdragon 的 CPU、Adreno GPU、Hexag…
OpenAI 開發者帳號披露，其與 Azure Cosmos DB 合作改造儲存架構，全球讀取延遲中位數改善 12 倍。該架構支撐其在 40 個地理區域、面向超過 12 億使用者的毫秒級資料服務。帖文只給出了延遲改善倍數和使用者規模，未說明具體延遲數值、改造週期和涉及的產品線。
OpenAI 介紹了線上儲存系統 Habitat 的擴容方案，使 ChatGPT 的讀取速度提升 12 倍，以支撐超過 10 億使用者。方案主要依靠可靠的多租戶架構、全域性快取，以及 Azure Cosmos DB 儲存層。這是該系列的第二篇，重點在工程實現細節。
llama.cpp 合併 PR #29639，為 Vulkan 後端加入針對量化 K/V 快取的稀疏 Flash Attention，並把稀疏 FA 的索引壓縮改為單次掃描。原實現每行 mask 用一個 workgroup、按 BLOCK_SIZE 分塊各做一次掃描，解碼時單個 workgroup 要跑 KV/1024 次受 barrier 限制的迭代，128k 單元格下開銷超過它服務的稀疏注意力本身。