依意思最接近的 30 筆
OpenAI API 現在可以選擇 12 小時 prompt caching，快取輸入繼續按更低費率計費。該選項面向全天複用上下文的持久型 agent（如 dots）：共享指令、工具和上下文可以保留在快取中更久，即使兩次請求相隔數小時，仍可命中快取並支付 cached-input 價格。對需要長時間維持同一套上下文的 API 呼叫方，這意味著可在 12 小時內跨多次請求複用同一套上下文。
OpenAI 開發者帳號宣布，提示快取的保留時長現在可以選擇 12 小時，也可以繼續使用預設的 30 分鐘，或在同一次請求裡混用兩種時長：共享指令用 12 小時，較新的對話內容用 30 分鐘。官方表示，如果一整天都要反覆複用同一段上下文，反覆命中快取省下的錢可能明顯超過 12 小時快取多出的成本。
llama.cpp 更新 server 的 prompt cache 邏輯：現在只儲存可恢復的 slot 狀態（PR #30498）。此前每個任務啟動時都會把空閒 slot 全部寫入快取，rerank、embedding、decision、infill 的狀態填滿快取卻從不被讀回；
模型雲服務商 Neuralwatt 分析一個月流量發現，同一模型下不同 agent harness 的 prompt 快取命中率差異明顯，未快取輸入佔 1.6%–11.1%，而一次快取未命中會讓請求能耗約為全快取時的兩倍，GLM-5.3 上接近 2.5 倍。命中率 92% 相當於每 100 個輸入 token 有 8 個未快取，97% 時只有 3 個，prefill 工作量相差 2.7 倍。
llama.cpp 發布 b11583，主要改動是在「no cache」路徑下避免圖記憶體的重複分配（#30439），即不使用 prompt 快取時可減少反覆申請與釋放視訊記憶體/記憶體。該版本照例提供 macOS、Linux、Windows、Android 等平台的預編譯包，其中 macOS Apple Silicon 的 KleidiAI 建置和 openEuler 建置本次標記為 DISABLED。
Pi 1.3.0 發布，在 OpenAI GPT-6 模型上通過 API key 在會話中途調整 thinking level 現在會保留 prompt cache；Kimi Code 改用 Chat Completions 協議後，對話中途新增工具同樣不再讓快取失效。新增 sessionShareDestination 設定，可選擇把 /share 上傳到自動、GitHub gist 或 Radius。
llama.cpp 建置 b11758 修復了 speculative decoding 的 ngram 草稿快取錯誤：此前 common_ngram_cache_update 只收到新 token、缺少前面的 token，以新 token 結尾的 ngram 無法形成，上下文快取裡只剩 prompt。現在改為傳入完整歷史、把 nnew 設為新 token 數量，並在每次新請求時把 cache_size 歸零。
llama.cpp 發布 b11706，修復 SYCL 後端在 Q4_0/Q8_0 權重重排後出現的 prompt 處理迴歸（#30374）。該版本同時更新各平台預編譯包，覆蓋 macOS、Linux、Windows、Android，含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO 與驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。
OpenAI Devs 表示，團隊用 Rust 重寫服務層，降低了代理開銷。對認證後設資料這類每個請求都必需的小型關鍵資料集，團隊保留了廣泛複製；設定和應用狀態等高頻訪問資料則由區域內快取提供。推文列出這三項基礎設施最佳化，但未給出延遲、吞吐等具體數字或生效範圍。
Anthropic 推出 Claude Haiku 5.5（claude-haiku-5-5），面向高併發與低延遲場景，支援 1M token 上下文、128k 最大輸出，並預設開啟帶 effort 引數的自適應思考。這是一次破壞性升級：手工 extended thinking（budget_tokens）、temperature/top_p/top_k 取樣引數與 assistant 訊息預填都會返回 400 錯誤，需按遷移指南改寫。
llama.cpp b11576 把無快取注意力路徑的 KV 維度填充到 256，修復了該路徑下 Flash Attention 回退 CPU 的問題。
llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體，把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB，262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變，僅分數因 fp32 舍入有差異；有使用者反饋解碼速度約降 10%。
Claude Code v2.1.299 新增空閒壓縮：超過 200K token 的會話閒置約 54 分鐘後會被自動壓縮，趕在一小時 prompt cache 過期前完成，避免下一條訊息重新處理全部上下文。壓縮閾值可用 CLAUDE_CODE_IDLE_COMPACT_MIN_TOKENS 調整，settings.json 裡的 idleCompaction: false 可關閉，兩者都需 v2.1.290 及以上。
llama.cpp 發布 v0.7.0，最核心的變化是新增主機記憶體 MoE 專家的 GPU 快取（--moe-cache-mib），專家改由裝置端 LRU 快取執行，專家解除安裝時解碼最高提速約 2.2 倍，且該快取可跨多張 GPU 共享。版本同時加入 LiliCorr 投機解碼與 GLM5-Next 的 MTP 投機解碼，並支援 K2 Horizon、Prism Bonsai 2 27B、EmbeddingGemma-2、MiniCPM-V 4.7 等一批新模型。
typeui.sh 在 Hacker News 的 Show HN 板塊發布了一套面向 AI 的 UI 微互動提示詞（micro-interactions prompts），目前可以開啟該頁面檢視。該帖發布後收到 19 分和 3 條評論，討論量不大；帖子正文沒有提供更多細節，包括提示詞數量、支援的模型和授權方式。
llama.cpp 發布建置 b11690，common 模組中 ngram 快取的分片改為按引用讀取、不再複製，以減少複製。該版本給出的官網地址是 llama.app，預編譯產物覆蓋 macOS Apple Silicon 與 Intel、iOS XCFramework，Linux 的 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL，Android arm64 及 Snapdragon 的 CPU、Adreno GPU、Hexag…
llama.cpp 發布 b11411，修復恢復 KV cache 時 rotation 後設資料不匹配的問題：現在會儲存精確的 rotation 後設資料，並拒絕恢復與之不匹配的快取。原先的 state rotation 測試被移入 test-save-load-state，納入儲存/載入測試矩陣，對所有受測模型執行，並探測模型支援的 KV cache 型別組合，不使用 attention rotation 的模型視為空通過。
llama.cpp 新版修復了請求指定繁忙 id_slot 時的上下文錯亂問題。此前這類請求仍會先在該 slot 上執行 prompt cache 更新，若 RAM 快取命中更好的匹配，就會把新上下文載入仍在生成中的 slot，導致生成在錯誤上下文上繼續；現在繁忙 slot 會原樣返回，請求排隊等待（#30295）。
OpenAI 介紹了線上儲存系統 Habitat 的擴容方案，使 ChatGPT 的讀取速度提升 12 倍，以支撐超過 10 億使用者。方案主要依靠可靠的多租戶架構、全域性快取，以及 Azure Cosmos DB 儲存層。這是該系列的第二篇，重點在工程實現細節。
OpenAI 將全球儲存讀取的中位延遲從約 120ms 降到約 10ms。官方稱，這一變化來自快取、複製以及 Python 到 Rust 的重寫共同作用，產品團隊因此需要管理的基礎設施更少、迭代更快。該訊息由 OpenAI Devs 發布，並連結到《Scaling Storage to One Billion Users, Part Two》一文。
AI 實驗室 Third Moment Research 藉助 OpenAI 的 GPT-6 Astra、GPT-6.1 Sol 與 Codex，可同時執行 1 萬個 agent，單次自主研究持續 36–48 小時。Codex 曾定位量化回測瓶頸並部署快取與記憶體打包最佳化，把一年美股訂單級資料的回測從約 3 小時縮短到 3–5 分鐘，回測時間減少 97%。
Codex CLI 0.164.0 加入 /presets，提供 10 個編號槽位儲存可複用的提示詞與斜槓命令，並配鍵盤選單快速呼叫。/model 與 /permissions 支援內聯引數，可直接指定模型、推理強度、速度與權限配置。企業 MCP 連線可用 Codex 帳號授權或獨立登入（含需要金鑰的 OAuth 客戶端），遠端 Bash 與 Zsh 會話中的憑據會被遮蔽；Kitty、Sixel 終端還能全屏預覽圖片。
華盛頓大學大衛·貝克團隊聯合新加坡國立大學提出文字條件化全原子蛋白質結構生成模型 Prompteina，用自然語言提示即可指定蛋白質的結構與功能特性。團隊同時建置了含 180 萬個結構、超 5000 萬條說明文字的 Prompteina-Data 資料集。在 18 項結構特性基準中 Prompteina 有 15 項領先基線，智慧體引導的結合體設計介面置信度比最強基線提高 14%；針對此前無已報導從頭設計結合體的 GM2A，90 個測試設計中有 9 個產生結合體。
OpenAI 為 ChatGPT 中的 GPT-6 Astra Pro 推送升級，回應速度更快，外掛與工具呼叫也有所改進，並新增多智慧體並行能力。多個 agent 可以分別處理同一任務的不同部分，使用者能跟蹤每個 agent 的進度，也可開啟已完成任務檢視其工作結果。該功能現面向 Pro 使用者在 Chat 標籤頁開放。
Cloudflare 與 OpenAI 公布了 2026 年 7 月啟動的搜尋發現聯合試點的早期結果：僅使用 Cloudflare 約 1% 的網路規模，就讓 OpenAI 發現並索引了數億個此前未被收錄的網頁，為 ChatGPT 提供更多資訊源。試點還在測試過濾失效、跳轉與重複頁面的訊號，以及標記單個被入侵頁面（如偽造登入頁）的安全訊號，並用變更訊號判斷頁面是否值得重抓，以減少站點的無效爬取負載。該研究只用網頁後設資料服務搜尋與發現，不把頁面內容用於模型訓練；
一篇隨筆主張，AI 正在瓦解支撐個人智力活動的知識社群，使長期、複雜的私人思考越來越難維持。作者以軟體工程為例：Claude Code 發布一年多，行業討論從編譯器、型別系統轉向 prompt、harness、loop，變得狹窄膚淺；寫部落格、開源庫或設計新程式語言也不再有人類讀者，內容只會被下一代模型消化。文章稱數學領域正經歷類似過程，並認為持續的知識活動需要共享成果與他人認可這兩種無法獨自獲得的輸入。
2026 年 10 月 3 日，一篇技術文章批評市面上的 agent 記憶外掛本質都是 RAG：把會話切成片段存入向量庫，每次提示注入最相似的 5 條，存在相似度不等於正確、片段脫離上下文、舊記憶被當作事實、無法審計等問題。作者主張改用文件式記憶，讓 agent 工作前查閱 Markdown 文件、工作後更新，並稱已把這一思路做成外掛 Operator Memory，不使用向量資料庫和嵌入。
小紅書 Dots 團隊開源稀疏注意力加速方案 DoSA，在保持原始 Top-K 選擇結果完全等價的前提下加速索引器，約 1M token 上下文下 Dots3-Note-preview、GLM-5.2、DeepSeek-V3.2 的首 token 延遲較各自 SGLang 基線分別降低約 37%、46% 和 48%。其做法是用分數上界與入選門檻下界，提前排除約 97% 不可能入選的候選，只對剩餘候選做全部索引頭的精確打分。
Claude Code 發布 v2.1.294，修復了以自然語言指令編寫的 prompt 與 agent hooks 會放行本應被攔截操作的問題——使用者寫「攔截某類命令」時，這些命令此前可能照常執行。該版本還改進了 Stop 與 SubagentStop 上同類指令式 prompt hooks 的判斷，例如「建置失敗也繼續」這類寫法，讓 Claude 更不容易提前停止。更新說明未列出其他改動。
llama.cpp 發布建置 b11600，主要修復無快取注意力中 KQ 偏置未填充的問題：T5 會額外加入形狀為 [n_tokens, n_tokens] 的相對位置偏置，當 n_tokens 不能整除填充後的寬度時，與 KQ 相加會失敗，現在按 K、V 的做法用零把偏置填充到 mask 的 KV 維度。