找到 50 筆
模型雲服務商 Neuralwatt 分析一個月流量發現，同一模型下不同 agent harness 的 prompt 快取命中率差異明顯，未快取輸入佔 1.6%–11.1%，而一次快取未命中會讓請求能耗約為全快取時的兩倍，GLM-5.3 上接近 2.5 倍。命中率 92% 相當於每 100 個輸入 token 有 8 個未快取，97% 時只有 3 個，prefill 工作量相差 2.7 倍。
MLX 發布 v0.31.2，新增 Gemma 4 模型支援及其工具呼叫解析器，並加入 Nemotron super 支援。本次更新為非可裁剪快取引入系統提示與使用者訊息快取，重構批次生成器，修復推測解碼輸出損壞、GatedDeltaNet 快取記憶體洩漏等問題，同時新增伺服器 --allowed-origins 引數。
llama.cpp b11576 把無快取注意力路徑的 KV 維度填充到 256，修復了該路徑下 Flash Attention 回退 CPU 的問題。
Claude 官方帳號宣布將 Claude Sonnet 5.5 的快取讀取價格減半，降至每百萬 token 0.10 美元。官方稱這讓 Sonnet 5.5 在大多數長時間執行的工作負載上成本降低約 20%。快取讀取對應複用已寫入快取的提示內容，此次調價直接影響長上下文、多輪複用場景下的呼叫開銷。
Claude API 的快取診斷功能已脫離 beta，不再需要 cache-diagnosis-2026-04-07 請求頭。開發者可在 Messages 請求中帶上 diagnostics 物件來啟用；繼續傳送舊請求頭的呼叫方式不受影響。POST /v1/messages 的回應現在始終包含 diagnostics 欄位，未啟用時該欄位為 null。
llama.cpp 發布 v0.7.0，最核心的變化是新增主機記憶體 MoE 專家的 GPU 快取（--moe-cache-mib），專家改由裝置端 LRU 快取執行，專家解除安裝時解碼最高提速約 2.2 倍，且該快取可跨多張 GPU 共享。版本同時加入 LiliCorr 投機解碼與 GLM5-Next 的 MTP 投機解碼，並支援 K2 Horizon、Prism Bonsai 2 27B、EmbeddingGemma-2、MiniCPM-V 4.7 等一批新模型。
Opus 5.5 的 API 價格全面下調：輸入與輸出 token 比 Opus 5 便宜 20%，快取讀取便宜 60%，每百萬 token 分別為 4 美元、20 美元與 0.2 美元。快取讀取價從輸入價的十分之一降到二十分之一，長會話的 agentic 任務受益最大，官方估算典型按 token 計費的工作負載整體便宜約 40%。
llama.cpp 發布 b11507 版本，新增 MoE 快取跨多張 GPU 的支援（PR #30112），可讓混合專家模型在多 GPU 環境下更充分地利用視訊記憶體。該版本同時更新了各平台預編譯產物，覆蓋 macOS Apple Silicon、iOS、Linux（CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO）、Windows、Android 以及 openEuler 等平台。
Claude Code 發布 v2.1.300，在 AWS 上的 Claude Platform 新增 /advisor 命令，需先用 /advisor、advisorModel 或 --advisor 選定顧問模型才會執行，設 CLAUDE_CODE_DISABLE_ADVISOR_TOOL=1 可關閉。
Pi 1.3.0 發布，在 OpenAI GPT-6 模型上通過 API key 在會話中途調整 thinking level 現在會保留 prompt cache；Kimi Code 改用 Chat Completions 協議後，對話中途新增工具同樣不再讓快取失效。新增 sessionShareDestination 設定，可選擇把 /share 上傳到自動、GitHub gist 或 Radius。
llama.cpp 發布建置 b11690，common 模組中 ngram 快取的分片改為按引用讀取、不再複製，以減少複製。該版本給出的官網地址是 llama.app，預編譯產物覆蓋 macOS Apple Silicon 與 Intel、iOS XCFramework，Linux 的 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL，Android arm64 及 Snapdragon 的 CPU、Adreno GPU、Hexag…
llama.cpp 發布建置 b11600，主要修復無快取注意力中 KQ 偏置未填充的問題：T5 會額外加入形狀為 [n_tokens, n_tokens] 的相對位置偏置，當 n_tokens 不能整除填充後的寬度時，與 KQ 相加會失敗，現在按 K、V 的做法用零把偏置填充到 mask 的 KV 維度。
llama.cpp 發布 b11583，主要改動是在「no cache」路徑下避免圖記憶體的重複分配（#30439），即不使用 prompt 快取時可減少反覆申請與釋放視訊記憶體/記憶體。該版本照例提供 macOS、Linux、Windows、Android 等平台的預編譯包，其中 macOS Apple Silicon 的 KleidiAI 建置和 openEuler 建置本次標記為 DISABLED。
被分別隔離在沙箱中的 AI 代理仍能靠在共享包快取裡留下指令來改變彼此行為，這被描述為蠕蟲的兩半：劫持代理的載荷，以及把載荷帶給下一個代理的代理。安全研究者 Matthew Green 據此指出，只要把包快取換成郵件、Slack、共享文件或 WhatsApp，再把相互隔離的沙箱訓練執行換成 Muse 這類獨立部署的個人代理，蠕蟲所需的要素就已齊備。他由此追問：沙箱是否足以遏制失控代理。
llama.cpp 建置 b11758 修復了 speculative decoding 的 ngram 草稿快取錯誤：此前 common_ngram_cache_update 只收到新 token、缺少前面的 token，以新 token 結尾的 ngram 無法形成，上下文快取裡只剩 prompt。現在改為傳入完整歷史、把 nnew 設為新 token 數量，並在每次新請求時把 cache_size 歸零。
OpenAI 開發者帳號宣布，提示快取的保留時長現在可以選擇 12 小時，也可以繼續使用預設的 30 分鐘，或在同一次請求裡混用兩種時長：共享指令用 12 小時，較新的對話內容用 30 分鐘。官方表示，如果一整天都要反覆複用同一段上下文，反覆命中快取省下的錢可能明顯超過 12 小時快取多出的成本。
OpenAI API 現在可以選擇 12 小時 prompt caching，快取輸入繼續按更低費率計費。該選項面向全天複用上下文的持久型 agent（如 dots）：共享指令、工具和上下文可以保留在快取中更久，即使兩次請求相隔數小時，仍可命中快取並支付 cached-input 價格。對需要長時間維持同一套上下文的 API 呼叫方，這意味著可在 12 小時內跨多次請求複用同一套上下文。
DeepSeek 開源了生產推理棧 DeepInfer，它基於 vLLM 定製、採用 Apache 2.0 許可，支援最長 72 小時 prompt 快取、投機解碼與結構化輸出，相容 NVIDIA 與華為昇騰。官方稱單叢集日處理 155 萬億 token、輸入快取命中率 96%、首 token 延遲 400ms、生成速度 230 token/s，按非高峰電價折算單卡每小時收入 38 美元，毛利率超過 80%、回本週期 81 天。不過 KV 快取管理與負載均衡仍未開源；
Anthropic 推出 Claude Haiku 5.5（claude-haiku-5-5），面向高併發與低延遲場景，支援 1M token 上下文、128k 最大輸出，並預設開啟帶 effort 引數的自適應思考。這是一次破壞性升級：手工 extended thinking（budget_tokens）、temperature/top_p/top_k 取樣引數與 assistant 訊息預填都會返回 400 錯誤，需按遷移指南改寫。
MLX 發布 v0.31.3，以大量 bug 修復為主，並加入執行緒本地生成流以配合 MLX v0.31.2。修復內容包括 BatchKVCache、BatchRotatingKVCache 與 ArraysCache 的 extend() 批次維度不匹配、服務端並行工具呼叫、MiniMax M2 並行工具呼叫、Gemma4 工具解析器對連字元函式名與字串引數中花括號的支援，以及 Mistral 工具呼叫被空 tool_call_end 破壞等問題。
llama.cpp 更新 server 的 prompt cache 邏輯：現在只儲存可恢復的 slot 狀態（PR #30498）。此前每個任務啟動時都會把空閒 slot 全部寫入快取，rerank、embedding、decision、infill 的狀態填滿快取卻從不被讀回；
DeepSeek 公布 V4.1-Flash 的 KV cache 相比上一代只需 1/4 的 HBM 和 1/8 的 SSD 儲存。官方指出快取命中費用常佔 agent 成本很大比例，壓縮快取可顯著降低這部分開銷。
OpenAI 介紹了線上儲存系統 Habitat 的擴容方案，使 ChatGPT 的讀取速度提升 12 倍，以支撐超過 10 億使用者。方案主要依靠可靠的多租戶架構、全域性快取，以及 Azure Cosmos DB 儲存層。這是該系列的第二篇，重點在工程實現細節。
一位使用者用自訂 Pi agent 搭配 High 思考檔位的 Opus 5.5，耗時 27 分 45 秒、花費 6.17 美元（主 agent 4.97 美元、設計審查 agent 1.21 美元），產出一個 1029 行、零依賴的 HTML 檔案。輸出 122,689 tokens，其中思考 66,163 tokens；總 token 約 600 萬，約 95% 為快取讀取。
OpenAI 將全球儲存讀取的中位延遲從約 120ms 降到約 10ms。官方稱，這一變化來自快取、複製以及 Python 到 Rust 的重寫共同作用，產品團隊因此需要管理的基礎設施更少、迭代更快。該訊息由 OpenAI Devs 發布，並連結到《Scaling Storage to One Billion Users, Part Two》一文。
OpenAI Devs 表示，團隊用 Rust 重寫服務層，降低了代理開銷。對認證後設資料這類每個請求都必需的小型關鍵資料集，團隊保留了廣泛複製；設定和應用狀態等高頻訪問資料則由區域內快取提供。推文列出這三項基礎設施最佳化，但未給出延遲、吞吐等具體數字或生效範圍。
OpenAI 於 2026 年 10 月 2 日發布 GPT-6 系列模型指南，該系列包含三款模型：GPT-6 Astra（輸入 $10/輸出 $50 每百萬 token）、GPT-6.1 Sol（輸入 $2/輸出 $10）和 GPT-6 Luna（輸入 $0.1/輸出 $0.5）。指南建議按任務難度匹配模型與推理等級，並利用提示快取（快取輸入最高便宜 95%）和壓縮控制成本，同時提供 Fast 與 Ultrafast 加速模式。
SemiAnalysis 對 Anthropic、OpenAI 等多家 AI 訂閱計劃做限額實測，結論是同等價位下 Anthropic 訂閱的 API 等價價值是 OpenAI 的 5 倍以上。同一 200 美元/月的 Claude 計劃，其等價價值隨模型與工作負載（輸入、快取寫入、快取讀取、輸出）不同而大幅變化，因此不存在孤立的價值數字。訂閱僅佔 Anthropic 總收入約 10%，卻消耗超過 40% 的推理算力，並把混合每兆瓦收入拉低約 3600 萬美元。
Reddit 的 r/LocalLLaMA 版塊一則帖子被版主以違反第 3 條規則為由刪除，評論區仍在討論 8GB 視訊記憶體加 16GB 記憶體的低配硬體如何跑本地模型。有使用者提到 32GB 記憶體加 12GB 視訊記憶體可執行 LFM2.5，也有人建議 Ling 3.0 tiny 或 Gemma 配合 mmap。另有評論稱專家快取即將進入 llama.cpp，未來或支援從磁碟流式載入專家。
Claude Code 更新至 v2.1.284，Anthropic API 新增 Claude Sonnet 5.5（claude-sonnet-5-5）並設為預設 Sonnet 模型，支援 100 萬 token 上下文，定價為每百萬 token 輸入 2 美元、輸出 10 美元，快取讀取 0.2 美元。
Google DeepMind 正式上線 Gemini 4 Argon，API 定價輸入 2 美元、輸出 10 美元每百萬 tokens，五折優惠持續到 11 月 30 日，之後恢復為 4 美元與 20 美元，上下文快取另有 95% 折扣。
llama.cpp 合併 PR #29570，在 Metal 後端為 F16 KV 快取加入基於張量 API 的 flash attention 核心。該核心覆蓋 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等配置，並支援 attention sinks、ALiBi 與 logit softcap。改動隨 b11362 建置發布，覆蓋 macOS Apple Silicon、iOS 及 Linux、Windows、Android 等多平台建置。
MLX 發布 v0.31.0，新增 Qwen 3.5 張量並行支援、JoyAI LLM Flash 模型，並加入 --prefill-step-size 命令列引數以權衡速度與視訊記憶體。該版本集中修復了 CacheList 儲存/載入、MLA 模型混合量化、MiniMax M2.5 分片 RMS Norm 等問題，同時改進服務端快取並新增 cached_tokens 用量欄位。
Gemini 4 Argon 今日全球 GA，覆蓋付費 Gemini API、Gemini 應用 AI Pro/Ultra、搜尋 AI Mode 與 Antigravity Ultra，並進入 Cursor、Devin、GitHub Copilot。入門 API 價為每百萬輸入/輸出 token 2/10 美元，快取輸入打 95% 折扣，11 月 30 日後翻倍至 4/20 美元。
llama.cpp 發布 b11640，Vulkan 後端針對 cm2 mulmat 的矩陣乘法改用對 L2 快取更友好的 workgroup 排程（#30215）。同一版本把 macOS Apple Silicon 的 KleidiAI 建置標記為 DISABLED，並重新整理各平台預編譯包：Ubuntu 與 Windows x64 新增 ROCm 10.0，CUDA 13 建置對應 CUDA 13.4 庫。
Meta 發布 Muse Spark Open，這是 816B 總參、42B 啟用的 MoE 開放權重模型，支援 1M token 上下文，可輸入文字、影像、影片與音訊。上線價格為每百萬輸入/輸出 token $1.25/$4.25（快取輸入 $0.15），Together 免費端點開放至 10 月 18 日。
v0.40.4-rc1 為 MLX 加入 Kev 決策打分（decision scoring）。這一候選版本支援按 FP32 決策頭與發布後設資料載入 Kev 模型，並提供 System One 打分，配套共享狀態快取與 Kev 專屬限制（PR #18976）。該標籤由 dhiltgen 於 10 月 13 日打上，commit 665f9e0 帶 GitHub 驗證簽名。
Earendil 旗下 Pi 發布 1.0 版本，同時推出將 Pi 移植到 TypeScript 的 Pi Durable，兩者均登上 Hacker News 首頁。Pi 1.0 新增原生 MCP、Jev 與影像模型支援、虛擬模型擴充套件、延遲工具載入、Anthropic 模型快取預熱、對話中途系統訊息與新 TUI 主題。
蘋果 MLX 框架發布 v0.32.1，修復載入 GGUF 後設資料陣列時的 int64 型別轉換錯誤，並解決 Metal 自訂核心快取同名衝突、CUDA 批次 GEMV 網格溢位等問題。該版本還新增 Metal 全注意力支援 head dimension 96、gather_qqmm 運算元與複數支援，並補充 MLX 環境變數文件。
Pi 1.1.0 發布，新增對 Claude Haiku 5.5（anthropic/claude-haiku-5-5）的支援，自適應思考可開到 xhigh/max，並在 Bedrock 上啟用提示快取。同時加入 OSC 7501 程式狀態上報，支援的終端與 agent 面板可看到 Pi 正在工作、被對話方塊或登入阻塞、完成還是失敗。
MiniMax 正式發布 M3.1 Flash，官方稱其在 agentic 任務、coding、Computer Use 與網路安全上全面提升，使用成本較上一代降低 70%，線上推理速度提升近 3 倍。定價為每百萬 tokens 輸入 0.15 美元、輸出 0.60 美元、快取輸入 0.015 美元，日常輸出可達 200+ TPS（P50 170+ TPS）。
llama.cpp 發布每日建置 b11592，ggml-cuda 的 CUDA graph 除錯日誌改為只在設定 GGML_CUDA_GRAPH_DEBUG 後才輸出，並移除了這部分日誌的 NDEBUG 編譯開關。同一批提交把 CUDA 環境變數的讀取改成靜態常量快取，程序內只查詢一次，不再每次呼叫重複讀取。
Anthropic 發布 Claude Haiku 5.5，官方稱其是迄今最便宜、最快、能力最強的小模型，平均執行成本比 Haiku 4.5 低約 75%。定價為每百萬 token 輸入 0.10 美元、輸出 0.50 美元（提示 10 萬 token 以內），並首次在 Haiku 級模型上提供可調 effort 設定，用於權衡成本與智慧。
llama.cpp 合併 PR #29639，為 Vulkan 後端加入針對量化 K/V 快取的稀疏 Flash Attention，並把稀疏 FA 的索引壓縮改為單次掃描。原實現每行 mask 用一個 workgroup、按 BLOCK_SIZE 分塊各做一次掃描，解碼時單個 workgroup 要跑 KV/1024 次受 barrier 限制的迭代，128k 單元格下開銷超過它服務的稀疏注意力本身。
Google DeepMind 於 2026 年 9 月 30 日發布前沿模型 Gemini 4 Argon，先通過 Fairwind Program 向受信任的網路安全防禦方開放，隨後逐步擴充套件。其輸出 token 上限從 64K 提升至行業領先的 1M，定價為每百萬輸入 token 2 美元、每百萬輸出 token 10 美元，快取輸入享 95% 折扣。
Google 開源 TorchTPU，讓 PyTorch 模型可直接跑在 TPU 上，PyPI 最新版本為 0.2.0。專案提供 TPU 的 ATen 核心實現、XLA 計算編譯快取，支援資料並行與張量並行分散式訓練，並接入 torch.compile() 圖模式執行，附帶 Llama、Qwen、ResNet、DLRM、minGPT、UNet 等範例。安裝要求 Python 3.11+，Marimo 互動筆記本需在 TPU VM（如 v6e 例項）上執行。
StepFun 的旗艦模型 Step 5 Preview 已在 OpenRouter 上線，採用稀疏 MoE 架構（啟用 27B、總引數 600B），支援 100 萬 token 上下文，主打跨大型程式碼庫與文件的多步 agentic 任務，於 2026 年 10 月 8 日發布。定價為每百萬 token 輸入 1 美元、輸出 2.70 美元，快取命中率約 93.5%，實際加權平均輸入價約 0.096 美元。
Gemini 4 Argon 今日全球上線：開發者與企業可通過 AI Studio 和 Gemini 平台 API 呼叫，Google AI Ultra 訂閱者可在 Antigravity 使用，Ultra 與 Pro 訂閱者可在 Gemini 應用及搜尋 AI Mode 使用。首發價每百萬輸入 token 2 美元、輸出 10 美元，快取輸入減免 95%；官方稱其在覆蓋金融、程式設計、法律、稅務的 Vals Index 上排名第一。
llama.cpp 新版修復了請求指定繁忙 id_slot 時的上下文錯亂問題。此前這類請求仍會先在該 slot 上執行 prompt cache 更新，若 RAM 快取命中更好的匹配，就會把新上下文載入仍在生成中的 slot，導致生成在錯誤上下文上繼續；現在繁忙 slot 會原樣返回，請求排隊等待（#30295）。
Inception 發布擴散架構大模型 Mercury 3，稱在多項基準上超過 GPT-6 Luna 與 Claude Haiku 5.5，NVIDIA GPU 上速度達 1068 token/秒，為後兩者的 4–8 倍。其引數量比 Mercury 1 擴大 40 倍以上，上下文從 Mercury 2.5 的 260K 提升到 1M。定價為每百萬輸入 token 0.20 美元、輸出 0.70 美元，發布期五折，快取輸入再降 90%。