依意思最接近的 30 筆
OpenAI API 現在可以選擇 12 小時 prompt caching，快取輸入繼續按更低費率計費。該選項面向全天複用上下文的持久型 agent（如 dots）：共享指令、工具和上下文可以保留在快取中更久，即使兩次請求相隔數小時，仍可命中快取並支付 cached-input 價格。對需要長時間維持同一套上下文的 API 呼叫方，這意味著可在 12 小時內跨多次請求複用同一套上下文。
OpenAI 開發者帳號宣布，提示快取的保留時長現在可以選擇 12 小時，也可以繼續使用預設的 30 分鐘，或在同一次請求裡混用兩種時長：共享指令用 12 小時，較新的對話內容用 30 分鐘。官方表示，如果一整天都要反覆複用同一段上下文，反覆命中快取省下的錢可能明顯超過 12 小時快取多出的成本。
Anthropic 推出 Claude Haiku 5.5（claude-haiku-5-5），主打高併發與低延遲場景，支援 1M token 上下文、128k 最大輸出，並預設開啟可通過 effort 引數調節的自適應思考，已在 Claude API、Amazon Bedrock、Google Cloud 與 Microsoft Foundry 上線。
模型雲服務商 Neuralwatt 分析一個月流量發現，同一模型下不同 agent harness 的 prompt 快取命中率差異明顯，未快取輸入佔 1.6%–11.1%，而一次快取未命中會讓請求能耗約為全快取時的兩倍，GLM-5.3 上接近 2.5 倍。命中率 92% 相當於每 100 個輸入 token 有 8 個未快取，97% 時只有 3 個，prefill 工作量相差 2.7 倍。
llama.cpp 更新 server 的 prompt cache 邏輯：現在只儲存可恢復的 slot 狀態（PR #30498）。此前每個任務啟動時都會把空閒 slot 全部寫入快取，rerank、embedding、decision、infill 的狀態填滿快取卻從不被讀回；
過去四個月 OpenAI 與 Anthropic 輪番降價，部分模型降幅達 80%。7 月 30 日 GPT-5.6 Luna 直降 80% 至每百萬 token 輸入 0.20、輸出 1.20、快取讀取 0.02 美元；9 月 22 日 GPT-6 Sol 與 Claude Opus 5.5 同日發布，定價分別為 2/10/0.20 與 4/20/0.20 美元；9 月 29 日 GPT-6.1 Sol 又把快取讀取價砍半到 0.10 美元，與 Anthropic 持平。
Pi 1.3.0 發布，在 OpenAI GPT-6 模型上通過 API key 在會話中途調整 thinking level 現在會保留 prompt cache；Kimi Code 改用 Chat Completions 協議後，對話中途新增工具同樣不再讓快取失效。新增 sessionShareDestination 設定，可選擇把 /share 上傳到自動、GitHub gist 或 Radius。
llama.cpp 發布 b11583，主要改動是在「no cache」路徑下避免圖記憶體的重複分配（#30439），即不使用 prompt 快取時可減少反覆申請與釋放視訊記憶體/記憶體。該版本照例提供 macOS、Linux、Windows、Android 等平台的預編譯包，其中 macOS Apple Silicon 的 KleidiAI 建置和 openEuler 建置本次標記為 DISABLED。
llama.cpp 發布 b11706，修復 SYCL 後端在 Q4_0/Q8_0 權重重排後出現的 prompt 處理迴歸（#30374）。該版本同時更新各平台預編譯包，覆蓋 macOS、Linux、Windows、Android，含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO 與驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。
OpenAI Devs 表示，團隊用 Rust 重寫服務層，降低了代理開銷。對認證後設資料這類每個請求都必需的小型關鍵資料集，團隊保留了廣泛複製；設定和應用狀態等高頻訪問資料則由區域內快取提供。推文列出這三項基礎設施最佳化，但未給出延遲、吞吐等具體數字或生效範圍。
llama.cpp 建置 b11758 修復了 speculative decoding 的 ngram 草稿快取錯誤：此前 common_ngram_cache_update 只收到新 token、缺少前面的 token，以新 token 結尾的 ngram 無法形成，上下文快取裡只剩 prompt。現在改為傳入完整歷史、把 nnew 設為新 token 數量，並在每次新請求時把 cache_size 歸零。
Shopify 用 NVIDIA Nemotron 3.5 Lightning 後訓練出的 GraphQL 子智慧體已接入商家助手 Sidekick，官方稱在內部基準上準確率超過一款領先前沿模型，服務成本降低 90%、回應快 7 倍。配合 NVIDIA CCluster 的 vLLM 推理最佳化，目錄豐富、購物模擬、品類分類、推薦等五個場景效能提升 4.5 倍，推理成本最多降 12 倍。
Asana 在 Codex 中用 GPT-6 Astra 改造 StackAI 瀏覽器智慧體工作流，在 GPT-6.1 Sol 上把單次執行的預估模型成本降至 0.47 美元、約 4 分鐘，比原生產環境所用的 Model B 便宜 76 倍、快 5 倍。144 次測試覆蓋四款前沿模型，最佳化手段包括把快取擴充套件到瀏覽歷史、把文字歷史預算放寬到 12 萬與 48 萬字元、截圖累積到 20 張再批次清理。
OpenAI 發布 GPT-6.1 Terra，標準 API 輸入 1 美元、輸出 5 美元每百萬 Token，快取輸入 0.05 美元，價格約為 GPT-5.6 Terra 的一半；在 Agents' Last Exam 中以約 GPT-6 Astra 十分之一的 Token 價格追平其表現。
Claude 官方帳號宣布將 Claude Sonnet 5.5 的快取讀取價格減半，降至每百萬 token 0.10 美元。官方稱這讓 Sonnet 5.5 在大多數長時間執行的工作負載上成本降低約 20%。快取讀取對應複用已寫入快取的提示內容，此次調價直接影響長上下文、多輪複用場景下的呼叫開銷。
Anthropic 發布 Claude Haiku 5.5，官方稱其是迄今最便宜、最快、能力最強的小模型，平均執行成本比 Haiku 4.5 低約 75%。定價為每百萬 token 輸入 0.10 美元、輸出 0.50 美元（提示 10 萬 token 以內），並首次在 Haiku 級模型上提供可調 effort 設定，用於權衡成本與智慧。
OpenAI 把 Pro 100 與 Pro 500 計劃包含的 Work 和 Codex 用量提升到原先的兩倍，Business Premium 計劃的額度也同步上調。同時，官方取消了 9 月 29 日郵件中宣布的 Pro 200 削減：10 月 29 日起，原本處於較低額度的 Pro 200 訂閱者同樣獲得兩倍額度，追平此前的高檔上限；已享有更高額度的使用者繼續保留原有額度。
Mistral 開始提供兩款快速、低成本的模型：DeepSeek V4.1 Flash 和 GLM 5.3 Flash。DeepSeek V4.1 Flash 處於公開預覽階段，官方稱其適合長上下文程式設計與 agentic 任務；GLM 5.3 Flash 已正式可用（GA），面向子代理、工具呼叫和程式設計任務。
llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體，把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB，262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變，僅分數因 fp32 舍入有差異；有使用者反饋解碼速度約降 10%。
Claude Code v2.1.299 新增空閒壓縮：超過 200K token 的會話閒置約 54 分鐘後會被自動壓縮，趕在一小時 prompt cache 過期前完成，避免下一條訊息重新處理全部上下文。壓縮閾值可用 CLAUDE_CODE_IDLE_COMPACT_MIN_TOKENS 調整，settings.json 裡的 idleCompaction: false 可關閉，兩者都需 v2.1.290 及以上。
Cloudflare 披露 Workers AI 上的 GLM-5.3 出現跨請求 KV 快取洩露，155 條回應混入了其他使用者請求的資料。問題從 8 月 27 日持續到 9 月 9 日，隻影響長度超過 681,280 token 的提示詞：上下文視窗設為 1,048,576 token，但 prefill KV 池只有 681,280 token，SGLang 遇到超長請求時沒有返回錯誤，解碼節點反而讀取了殘留的快取頁。
符合條件的 ChatGPT Pro 與 Business 訂閱者現在可以啟用促銷性質的 API 額度，用於通過 OpenAI API 建置應用和 agent。這些額度只能用於已關聯的 API 組織，與 ChatGPT 訂閱本身的使用額度分開計算，互不佔用。至於具體資格條件、啟用步驟與優惠條款，需要檢視 OpenAI 的官方說明頁面，公告未列出額度的具體金額。
文章認為，OpenAI 與 Anthropic 把 coding agent 以每月 20 美元賣給所有人，反而拆掉了自己最重要的客戶：靠軟體訂閱收費的公司。過去三年，AI 實驗室的說法是用 AI 軟體工程師替代昂貴的人類工程師；但同樣的工具被廉價賣給個人後，業餘開發者週末就能做出 Photoshop 替代品並開源，Adobe 式訂閱收入隨之消失，而且不會流向 AI 實驗室。文中還提到，200 美元/月的套餐一年 2400 美元，低於 Google 高階工程師一個月薪水；
Anthropic 於 10 月 7 日發布 Claude Haiku 5.5，百萬輸入 Token 最低 0.1 美元，較上代降價 90%，並首次在 Haiku 系列引入可調節推理強度，支援 100 萬 Token 上下文與 12.8 萬 Token 輸出。官方基準顯示其在 OSWorld 2.1 取得 72.4% 成功率，高於 GPT-6 Luna 的 48.9%，但最高成績對應最大推理強度，中等強度下 Terminal-Bench 成績從 39.2% 降至約 20%。
OpenAI 發布 GPT-6.1 Sol，定價每百萬輸入/輸出 token 2/10 美元，遠低於 Astra 的 10/50 美元，官方稱其在 DeepSWE v1.1 上超 GPT-6 Sol 6.4 分。Sonnet 5.5 在 Agent Arena 首秀排名第 3 並在 Chat 類別登頂，Anthropic 模型包攬前三。Codex 用量於 10 月 2 日太平洋時間上午 10 點全球重置。
OpenAI 上線與 Anthropic 相近的訂閱福利：月付 100、200、500 美元的 ChatGPT 訂閱使用者，可獲得等額 API credits，用於自己的一個 API 組織。此前 Anthropic 已為 Max 和 Team 的同價位訂閱提供同等額度，但該額度會過期。新額度可直接抵扣現有訂閱之外的 API 呼叫，作者認為這讓公開 demo 的成本更可控。
OpenAI 將全球儲存讀取的中位延遲從約 120ms 降到約 10ms。官方稱，這一變化來自快取、複製以及 Python 到 Rust 的重寫共同作用，產品團隊因此需要管理的基礎設施更少、迭代更快。該訊息由 OpenAI Devs 發布，並連結到《Scaling Storage to One Billion Users, Part Two》一文。
llama.cpp 發布 v0.7.0，最核心的變化是新增主機記憶體 MoE 專家的 GPU 快取（--moe-cache-mib），專家改由裝置端 LRU 快取執行，專家解除安裝時解碼最高提速約 2.2 倍，且該快取可跨多張 GPU 共享。版本同時加入 LiliCorr 投機解碼與 GLM5-Next 的 MTP 投機解碼，並支援 K2 Horizon、Prism Bonsai 2 27B、EmbeddingGemma-2、MiniCPM-V 4.7 等一批新模型。
OpenAI 在 Codex/Work 連續 28 天更新計劃的第二天一次性放出四項更新：Auto-review（即 Approve for me）對所有用 ChatGPT 帳號登入的使用者免費，不再消耗套餐額度；API 付費等級從五檔簡化為 Build、Launch、Grow 三檔，累計付費門檻分別為 5、100、500 美元，最高檔由 1000 美元減半至 500 美元並自動升級；
OpenAI 發布 GPT-6.1 Sol Ultrafast，稱速度最高為 Sol Standard 的 8 倍，API 定價 $12/$60 每百萬輸入/輸出 token，約為 Astra 成本的 1.2 倍。在 Codex 與 ChatGPT 中它僅對 $500 Pro 檔及符合條件的企業/教育版開放，支援美歐資料駐留。同期 ChatGPT 開始向 Plus 推送 GPT-6 智慧 UI；