llama.cpp server 的 prompt cache 只儲存可恢復狀態
llama.cpp 更新 server 的 prompt cache 邏輯:現在只儲存可恢復的 slot 狀態(PR #30498)。此前每個任務啟動時都會把空閒 slot 全部寫入快取,rerank、embedding、decision、infill 的狀態填滿快取卻從不被讀回;
找到 48 筆
llama.cpp 更新 server 的 prompt cache 邏輯:現在只儲存可恢復的 slot 狀態(PR #30498)。此前每個任務啟動時都會把空閒 slot 全部寫入快取,rerank、embedding、decision、infill 的狀態填滿快取卻從不被讀回;
llama.cpp 發布 b11706,修復 SYCL 後端在 Q4_0/Q8_0 權重重排後出現的 prompt 處理迴歸(#30374)。該版本同時更新各平台預編譯包,覆蓋 macOS、Linux、Windows、Android,含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO 與驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。
OpenAI API 現在可以選擇 12 小時 prompt caching,快取輸入繼續按更低費率計費。該選項面向全天複用上下文的持久型 agent(如 dots):共享指令、工具和上下文可以保留在快取中更久,即使兩次請求相隔數小時,仍可命中快取並支付 cached-input 價格。對需要長時間維持同一套上下文的 API 呼叫方,這意味著可在 12 小時內跨多次請求複用同一套上下文。
Claude Code 發布 v2.1.294,修復了以自然語言指令編寫的 prompt 與 agent hooks 會放行本應被攔截操作的問題——使用者寫「攔截某類命令」時,這些命令此前可能照常執行。該版本還改進了 Stop 與 SubagentStop 上同類指令式 prompt hooks 的判斷,例如「建置失敗也繼續」這類寫法,讓 Claude 更不容易提前停止。更新說明未列出其他改動。
開發者發布 Claude Fables,一個 Claude Code 桌面應用的免費 mod,會在提示欄上方用動畫短片即時演繹 Claude 正在做的事。Claude 以橙色小生物形象出現,含 20 種動作、7 個場景和 11 種視覺風格,可用 /fables style 切換,字幕按檔案、函式、數字、成敗分色。
掃描 Common Crawl 2026 年 9 月抓取的 2.17 億個頁面回應後發現,7,959 個站點的 HTTP 回應頭是寫給 AI 系統的:其中 7,271 個是指向 llms.txt 或 MCP 伺服器的指標,只有 30 個含注入指令(24 個藏在 X-AI 頭中),多為惡作劇。另有 139 個站點用回應頭記錄是否把客戶端識別為 AI bot。
月之暗面的 Kimi K3 已在 Amazon Bedrock 上線,可用於編碼、文件分析和長流程 agent 工作流,並支援顯式 prompt caching。使用者可沿用 Bedrock 的訪問、加密與審計控制,通過 AWS 官方模型卡文件開始接入。
輝達發布開放權重模型 Nemotron 3.5 Transcribe,用同一個 checkpoint 同時完成轉寫、說話人分離、翻譯與音訊問答,已在 Hugging Face 和 ModelScope 上線。它支援 40 種語言轉寫、31 種語言與英語互譯、13 種語言的說話人區分,可處理最長 1 小時錄音、標註最多 8 位說話人,並支援用自然語言提示控制輸出格式與專業術語。
開發者用一句提示讓 Claude Opus 5.5 在 Claude Code 裡以 three.js 製作卡爾維諾《看不見的城市》全部城市的互動視覺化,實際耗時 1 小時 25 分,由 6 個子代理並行完成,API 花費約 74 美元,成品被作者形容為令人著迷。同一提示交給 Codex 中的 GPT-6 Astra,53 分鐘、中等推理強度、約 10 美元即可端到端跑通,但混入了多餘概念與冗餘說明文字。
Pi 1.3.0 發布,在 OpenAI GPT-6 模型上通過 API key 在會話中途調整 thinking level 現在會保留 prompt cache;Kimi Code 改用 Chat Completions 協議後,對話中途新增工具同樣不再讓快取失效。新增 sessionShareDestination 設定,可選擇把 /share 上傳到自動、GitHub gist 或 Radius。
llama.cpp 新版修復了請求指定繁忙 id_slot 時的上下文錯亂問題。此前這類請求仍會先在該 slot 上執行 prompt cache 更新,若 RAM 快取命中更好的匹配,就會把新上下文載入仍在生成中的 slot,導致生成在錯誤上下文上繼續;現在繁忙 slot 會原樣返回,請求排隊等待(#30295)。
模型雲服務商 Neuralwatt 分析一個月流量發現,同一模型下不同 agent harness 的 prompt 快取命中率差異明顯,未快取輸入佔 1.6%–11.1%,而一次快取未命中會讓請求能耗約為全快取時的兩倍,GLM-5.3 上接近 2.5 倍。命中率 92% 相當於每 100 個輸入 token 有 8 個未快取,97% 時只有 3 個,prefill 工作量相差 2.7 倍。
論文提出 RISED,用評分標準(rubrics)驅動多環境 agent 訓練的 prompt 組選擇與自蒸餾。作者指出現有課程與資料選擇策略多在環境層面分配訓練,或只依賴區域性 reward 訊號,沒有顯式利用不同環境當前 rollout 之間的關係來挑選 prompt 組。同時各環境學習速度不一,同一 batch 內會並存全失敗與全成功的 rollout 組,這批資料無法獲得 group-relative 獎勵訊號。
Ai2 發布 Old Ideas, Novel Problems 研究與配套基準,結論是用 LLM 當新穎性評審並不可靠:只改 prompt 裡幾處措辭,模型分辨兩個想法哪個更新的準確率就變動超過 50 個百分點。測試涵蓋 GPT-5.1、GPT-5.2、GPT-5.4 與 Claude Sonnet 4.5、Opus 4.5/4.6,檢索與額外推理都不能穩定改善判斷,兩個專門建置的新穎性評估系統還不如直接用 prompt 呼叫的 Claude Opus 4.6 基線。
Claude Code 發布 v2.1.293,新增 Claude Haiku 5.5(claude-haiku-5-5),現為 Anthropic API 上預設的 Haiku 模型,提供 1M 上下文,價格為每百萬 token 輸入 0.10 美元、輸出 0.50 美元,prompt 超過 100K 時升至 0.50/2.50 美元。
Anthropic 推出 Claude Haiku 5.5,支援 1M token 上下文與 128k 最大輸出,預設開啟 adaptive thinking 並通過 effort 引數調節,已在 Claude API、Amazon Bedrock、AWS、Google Cloud 和 Microsoft Foundry 上線。
llm-echo 0.5 發布,這個除錯外掛不接入任何 LLM,只把收到的 prompt 原樣回顯,新版讓模擬的 token 用量統計把工具呼叫、系統提示詞和推理 token 都計算在內。
llama.cpp 建置 b11758 修復了 speculative decoding 的 ngram 草稿快取錯誤:此前 common_ngram_cache_update 只收到新 token、缺少前面的 token,以新 token 結尾的 ngram 無法形成,上下文快取裡只剩 prompt。現在改為傳入完整歷史、把 nnew 設為新 token 數量,並在每次新請求時把 cache_size 歸零。
llama.cpp 將版本號提升到 0.6.0(PR #29997),並更新了 scripts 的 summary prompt。隨版本給出的建置產物覆蓋 macOS(Apple Silicon arm64、Intel x64)、iOS XCFramework、Linux(Ubuntu x64/arm64/s390x,含 CUDA 12、CUDA 13、ROCm 10.0、Vulkan、OpenVINO、SYCL)、Android arm64、Windows(x64/arm6…
llama.cpp 修復了 llama-server 在轉義特殊 token 時會被單個請求打崩的棧溢位問題。此前 d1-omni 與 kev 兩個 prompt 用 std::regex_replace 處理請求文字里的 "<|name|>",libstdc++ 會按名字的每個字元遞迴,輸入 "<|" 加 30000 個字母即可撐爆 HTTP 執行緒棧,程序以 SIGSEGV 退出。
llama.cpp 重構了 Intel XMX 矩陣引擎上的多列 mul_mat_vec_q,並新增融合 gate/up 核心:一次啟動即算出 up*act(gate),最多支援 16 列。多列路徑覆蓋 2 到 80 列啟用,面向投機解碼驗證(每步 2 到 8 個 token)與 9 到 80 token 的短 prompt 批次。
Claude Code 新增 Claude Mods:用 TypeScript/JavaScript 編寫的外掛在 Claude Code 內執行,作為中介軟體介入 prompt、工具呼叫與介面渲染事件,改變 CLI 和桌面端的執行流程與外觀。Anthropic 已內建六個 mod,包括 agents-md、diff、plugin-authoring、sec-default、telemetry 和預設關閉的 you-should-know;
llama.cpp 的 CUDA 後端把稠密 FFN 的 gate 與 up 兩次矩陣乘合併為一次 mul_mat_q 呼叫,並在寫回階段直接計算 GLU,主要加速 prompt 處理。權重按每 8 行交錯裝載,使每個執行緒同時持有 up 值與對應的 gate 值,MMA 迴圈、warp 佈局與 vec_dot 保持原樣,寫回只輸出一半行。
llama.cpp 發布 b11583,主要改動是在「no cache」路徑下避免圖記憶體的重複分配(#30439),即不使用 prompt 快取時可減少反覆申請與釋放視訊記憶體/記憶體。該版本照例提供 macOS、Linux、Windows、Android 等平台的預編譯包,其中 macOS Apple Silicon 的 KleidiAI 建置和 openEuler 建置本次標記為 DISABLED。
MLX 發布 v0.40.8-rc0,新增對 Flint 模型的支援。為了讓 Flint 在 prompt 中保留數值型別與 schema 順序,版本會在保留解碼後的 API 值之外,同時保留源端 tool JSON;在匯入 safetensors 時組裝 ModelOpt expert banks,並禁止在轉換前直接建立 Flint NVFP4。共享 MLX attention 新增可選的 learned sinks 與裝置端 causal mask,由 Flint 啟用;
v0.40.7-rc0 預發布版本為 MLX 後端加入 PPLX Decider v1.2 支援(#19072)。該提交實現了基於 Qwen3.5 的決策打分器,採用非因果注意力,同時包含 publisher readout、影像處理與 System One prompt 編碼等改動。該版本為候選發布 rc0,由維護者於 10 月 17 日打上標籤。
Claude Code v2.1.299 新增空閒壓縮:超過 200K token 的會話閒置約 54 分鐘後會被自動壓縮,趕在一小時 prompt cache 過期前完成,避免下一條訊息重新處理全部上下文。壓縮閾值可用 CLAUDE_CODE_IDLE_COMPACT_MIN_TOKENS 調整,settings.json 裡的 idleCompaction: false 可關閉,兩者都需 v2.1.290 及以上。
AWS 工程師 Marc Brooker 用實驗比較編碼器與解碼器架構在 strands-decider 上的表現,結論是這一規模下兩者都沒有明顯優勢。編碼器-only 的 e1b 延遲中位數約 35ms,低於基於 Qwen3.5 改造的 2B 解碼器 v19 的 65ms,精度大致相當,但 prompt 變長後擴充套件性更差;
Claude Code 更新至 v2.1.288,修復了長對話因「Prompt is too long」而不自動壓縮、--resume 丟失檔案與上下文、恢復會話時丟失模型思考內容等問題。新增 Ctrl+C 清空提示後按上鍵恢復草稿、/code-review 的 --max-findings 引數、MCP 伺服器請求更多 OAuth 權限時重新認證提示,以及 agents 檢視的 Ctrl+F 查詢與 Alt+↑/↓ 分組跳轉。
Anthropic 託管的 Claude 平台在 Google Cloud 正式可用,功能與原生 Claude API 同日對齊。使用者沿用現有 Google Cloud IAM 與賬單,用量可抵扣既有承諾消費,Managed Agents、程式碼執行、prompt caching、批處理等全套功能包含在內。Claude Opus 5.5 的 Fast Mode 同步開放,輸出速度最高提升 2.5 倍,輸入輸出每百萬 token 分別 8 與 40 美元。
v0.40.12 為 MLX 後端新增 DFlash2 支援,這是本版最實質的功能變化;MLX 與 MLX-C 也同步升版,Gemma、Flint、Laguna 的提示處理(prompt)速度隨之提升。緊湊版 Gemma 4 視覺塔做了針對性調整,讓小尺寸圖片保留更多細節。llama.cpp 後端版本升至 b11901,屬常規跟進。更新日誌只列出條目,未給出提速幅度與適用硬體。
OpenAI 於 2026 年 10 月 2 日發布 GPT-6 系列模型指南,該系列包含三款模型:GPT-6 Astra(輸入 $10/輸出 $50 每百萬 token)、GPT-6.1 Sol(輸入 $2/輸出 $10)和 GPT-6 Luna(輸入 $0.1/輸出 $0.5)。指南建議按任務難度匹配模型與推理等級,並利用提示快取(快取輸入最高便宜 95%)和壓縮控制成本,同時提供 Fast 與 Ultrafast 加速模式。
Entire 發布首個專為 Agent 與人類協作打造的 Git 託管平台,用 Trail 取代傳統 Pull Request:每次推送由多個評審 Agent 在雲沙箱中獨立打分並列出問題,分數穩定、問題全部解決後才允許合併。其自研 Git 伺服器推送速度比 GitHub 快 89 倍、比 Cursor Origin 快 6 倍,支援多區域複製;Continuous Memory 會把 Agent 會話與 prompt 同步進倉庫供檢索。
Claude Code 發布 v2.1.306,修復雲會話中執行 claude -p 時未載入會話環境變數、卻提示“Not logged in”的登入誤報。該版本還修復了會話掛載大量 MCP 工具時,API 錯誤被替換成“prompt is too long”並觸發不必要上下文壓縮的問題。更新說明僅列出這兩項錯誤修復,沒有提到新功能、價格或額度變化。該版本於 10 月 21 日發布,使用雲會話和 MCP 工具較多的開發者可關注。
llama.cpp 服務端在 /v1/realtime 介面上新增即時對話與語音轉寫能力。範例客戶端預設改為連線伺服器埠 9931,並改用模型卡中的 prompt。此次還修正了多 slot 併發取樣:此前在同一步驟開頭取樣會讀到最後一個解碼 slot 的 logits,導致併發會話輸出互相混淆,現在改為每個 slot 在自身解碼後立即取樣;
OpenAI 的 Decisions API 新增原生 GPT-Live 整合,語音應用可以在使用者說話時即時作出反應。同時加入提示快取,在複用上下文時降低成本;支援直接傳入原生 JSON 結構化資料;並可在單條問題的指令中附帶圖片,把多張圖片與同一參考圖對比。單次請求可提交的問題數量上限提升到 400 條,較此前翻倍。
OpenAI 開發者帳號宣布,提示快取的保留時長現在可以選擇 12 小時,也可以繼續使用預設的 30 分鐘,或在同一次請求裡混用兩種時長:共享指令用 12 小時,較新的對話內容用 30 分鐘。官方表示,如果一整天都要反覆複用同一段上下文,反覆命中快取省下的錢可能明顯超過 12 小時快取多出的成本。
研究者把 Pokémon Showdown 雙打格式封裝成多智慧體環境,讓兩個 Qwen3.8-27B 智慧體組隊:能自由對話時對最大傷害指令碼機器人勝率 64%,完全不能交流僅 42%。由單個模型同時操控兩隻寶可夢勝率 54%,每回合各發一條訊息為 52%。自由對話每場消耗約 97.8 萬 prompt token,是無對話 25.9 萬的 3.8 倍;同一隊伍對 2B、9B 模型隊伍勝率分別為 96% 和 74%。
Agents CLI 提供一套評估迴圈,通過持續測試與評分來系統化提升 Agent 表現。該流程可捕捉提示詞迴歸,並利用並排 trace 對比評估模型後端替換的效果,同時支援自動執行評估。開發者還能將評估接入每夜定時執行,並設定基於閾值的告警,以便長期跟蹤 Agent 的品質變化;原文以完整範例演示了從測試、評分到告警的評估閉環。
DeepSeek 開源了生產推理棧 DeepInfer,它基於 vLLM 定製、採用 Apache 2.0 許可,支援最長 72 小時 prompt 快取、投機解碼與結構化輸出,相容 NVIDIA 與華為昇騰。官方稱單叢集日處理 155 萬億 token、輸入快取命中率 96%、首 token 延遲 400ms、生成速度 230 token/s,按非高峰電價折算單卡每小時收入 38 美元,毛利率超過 80%、回本週期 81 天。不過 KV 快取管理與負載均衡仍未開源;
Hurston-1 以 Apache-2.0 協議開源,這是一個基於 Maya1 微調的窄帶 TTS 模型,主攻美國英語,尤其是南方口音與地區非裔英語,輸出面向電話場景。作者從 2 萬多人處收集了 1800 小時授權語音,本次只取其中 136 小時用於微調。據作者說明,該模型不支援聲音克隆,跨 prompt 的音色也無法保持一致;它已用於 Amazon、Salesforce 等客戶,累計帶來超過 50 萬美元收入。
INIT Labs 開源了 Rust 編寫的 coding agent INIT,它能在同一段對話中重寫並熱替換自己的 harness(提示詞、工具、編譯核心),換核耗時 4.3 秒,並保留 87.9% 的 prompt cache。模型幾乎可以改寫所有層,但永遠不能觸碰 Root:金鑰、簽名記錄與快照都在 Root 中;12 項危害訊號中任意一項觸發,都會回滾改動。一次對 shell 工具的改動因評分偏低被拒絕,9 秒後回滾,記錄 seq 88–90 均帶簽名。
自建 AI 程式碼審查的平均單次成本從 2.43 美元降到 0.77 美元,降幅 68%;中位審查耗時也從 4 分 09 秒縮短到 1 分 32 秒。約 40% 的節省來自審查器程式碼最佳化,其餘來自更換所用模型與調整推理強度;在此之前,成本已從 4 月的 1.19 美元漲到 8 月的約 2.46 美元。審查器現已整體遷移到重寫的 OpenCode v2,影子模式對比中 98% 的合併請求審批結論一致,全量審查約快 13%。
Anthropic 為桌面版 Claude Cowork 加入內建瀏覽器,Claude 可在側邊面板中自行開啟網頁、閱讀內容、點選和輸入,無需安裝擴充套件或做任何設定。該瀏覽器與使用者自己的瀏覽器相互獨立,看不到使用者的標籤頁、書籤和密碼,登入資訊可按站點從 Chrome、Edge 或 Firefox 匯入,銀行、信箱和單點登入站點預設排除。本週起向桌面端 Pro、Max、Team 套餐推送並預設開啟,Enterprise 管理員即日起可在組織設定中啟用。
作者用 Claude Code 分三個 prompt、約一小時做出域名查詢工具 heade.rs 並部署到 Cloudflare,每月執行成本不到一杯咖啡。工具提供 DNS 與註冊記錄、即時延遲、郵件配置和 HTTPS 詳情,因為不靠銷售漏斗變現,可以只把查詢本身做好。過去幾小時只夠寫個指令碼,現在能換來一個打磨過的應用,他認為這讓為一個小煩惱動手開發變得划算。但他也指出,這類個人小工具很難在搜尋裡排到「domain lookup tool」前列,想要觸達更多人仍需要給出理由。
論文提出並研究 Plan-then-Retrieve(PtR)工具發現範式:讓 LLM 先生成抽象工具樁(Abstract Tool Stubs),即描述所需能力的假設函式簽名,再拿這些簽名到工具登錄檔中做檢索查詢。作為對照,主流的 Retrieve-then-Plan(RtP)直接用使用者查詢做嵌入,通過近似最近鄰搜尋找相似工具。問題背景是工具增強的 LLM agent 需從大型登錄檔裡發現可用 API,而有限的上下文視窗不允許把所有工具定義塞進單個 prompt。
一篇隨筆主張,AI 正在瓦解支撐個人智力活動的知識社群,使長期、複雜的私人思考越來越難維持。作者以軟體工程為例:Claude Code 發布一年多,行業討論從編譯器、型別系統轉向 prompt、harness、loop,變得狹窄膚淺;寫部落格、開源庫或設計新程式語言也不再有人類讀者,內容只會被下一代模型消化。文章稱數學領域正經歷類似過程,並認為持續的知識活動需要共享成果與他人認可這兩種無法獨自獲得的輸入。
Hark 正式發布 AI 個人助理 Hark Pro,可免費使用,重度使用者另有訂閱檔。其底層是專門為操作電腦訓練的模型,能接入信箱、日曆、硬碟與信用卡等,替使用者完成數字任務;介面為全屏,中央是對話方塊,另有 prompt 資訊流與可定製 panels 小儀表盤。演示中它主動提醒待批費用、待回郵件與會議,並提議代訂機票,還曾替人完成加州 DMV 的車輛註冊續期,且會在小視窗展示瀏覽網頁的過程以建立信任。公司計劃 2027 年推出配套的 AI 原生硬體。