llama.cpp releasesAI 評分46
llama.cpp server 的 prompt cache 只儲存可恢復狀態
llama.cpp 更新 server 的 prompt cache 邏輯：現在只儲存可恢復的 slot 狀態（PR #30498）。此前每個任務啟動時都會把空閒 slot 全部寫入快取，rerank、embedding、decision、infill 的狀態填滿快取卻從不被讀回；
搜尋
依意思最接近的 30 筆
Hacker News front page● 精選AI 評分79
Neuralwatt 實測：harness 快取差異可讓請求能耗翻倍
模型雲服務商 Neuralwatt 分析一個月流量發現，同一模型下不同 agent harness 的 prompt 快取命中率差異明顯，未快取輸入佔 1.6%–11.1%，而一次快取未命中會讓請求能耗約為全快取時的兩倍，GLM-5.3 上接近 2.5 倍。命中率 92% 相當於每 100 個輸入 token 有 8 個未快取，97% 時只有 3 個，prefill 工作量相差 2.7 倍。
llama.cpp releasesAI 評分41
llama.cpp b11583：無快取路徑避免記憶體重複分配
llama.cpp 發布 b11583，主要改動是在「no cache」路徑下避免圖記憶體的重複分配（#30439），即不使用 prompt 快取時可減少反覆申請與釋放視訊記憶體/記憶體。該版本照例提供 macOS、Linux、Windows、Android 等平台的預編譯包，其中 macOS Apple Silicon 的 KleidiAI 建置和 openEuler 建置本次標記為 DISABLED。
Pi changelogAI 評分46
Pi 1.3.0 發布，GPT-6 中途調整思考等級不再破壞快取
Pi 1.3.0 發布，在 OpenAI GPT-6（API key）上中途調整思考等級現在會保留 prompt cache；Kimi Code 改用官方客戶端的 Chat Completions 協議，K3、K3-256K 與 Kimi For Coding 中途新增工具也不再讓快取失效。切換模型時舊模型的 thinking 塊會被丟棄，不再以純文字傳給新模型；
llama.cpp releasesAI 評分42
llama.cpp b11706 修復 SYCL prompt 處理迴歸
llama.cpp 發布 b11706，修復 SYCL 後端在 Q4_0/Q8_0 權重重排後出現的 prompt 處理迴歸（#30374）。該版本同時更新各平台預編譯包，覆蓋 macOS、Linux、Windows、Android，含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO 與驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。
Claude Platform release notes● 精選AI 評分87
October 7, 2026
Anthropic 發布 Claude Haiku 5.5，面向高併發與低延遲場景，支援 1M token 上下文、128k 最大輸出，預設開啟可用 effort 引數調節的 adaptive thinking，已在 Claude API、Amazon Bedrock、AWS、Google Cloud 與 Microsoft Foundry 上線。
r/LocalLLaMA top of the dayAI 評分70
llama.cpp 新 PR 將 Qwen4 索引器視訊記憶體減半
llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體，把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB，262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變，僅分數因 fp32 舍入有差異；有使用者反饋解碼速度約降 10%。
llama.cpp releasesAI 評分46
llama.cpp 將無快取注意力的 KV 維度填充到 256，修復 Flash Attention 回退 CPU
llama.cpp b11576 把無快取注意力路徑的 KV 維度填充到 256，修復了該路徑下 Flash Attention 回退 CPU 的問題。
llama.cpp releasesAI 評分41
llama.cpp b11690：ngram 快取改為按引用讀取，官網為 llama.app
llama.cpp 發布建置 b11690，common 模組中 ngram 快取的分片改為按引用讀取、不再複製，以減少複製。該版本給出的官網地址是 llama.app，預編譯產物覆蓋 macOS Apple Silicon 與 Intel、iOS XCFramework，Linux 的 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL，Android arm64 及 Snapdragon 的 CPU、Adreno GPU、Hexag…
Claude Code releasesAI 評分55
Claude Code 加入空閒壓縮，長會話閒置約 54 分鐘後自動壓縮
Claude Code v2.1.299 新增空閒壓縮：超過 200K token 的會話閒置約 54 分鐘後會被自動壓縮，趕在一小時 prompt cache 過期前完成，避免下一條訊息重新處理全部上下文。壓縮閾值可用 CLAUDE_CODE_IDLE_COMPACT_MIN_TOKENS 調整，settings.json 裡的 idleCompaction: false 可關閉，兩者都需 v2.1.290 及以上。
機器之心● 精選AI 評分76
大衛·貝克團隊提出文字條件化蛋白質生成模型 Prompteina
華盛頓大學大衛·貝克團隊聯合新加坡國立大學提出文字條件化全原子蛋白質結構生成模型 Prompteina，用自然語言提示即可指定蛋白質的結構與功能特性。團隊同時建置了含 180 萬個結構、超 5000 萬條說明文字的 Prompteina-Data 資料集。在 18 項結構特性基準中 Prompteina 有 15 項領先基線，智慧體引導的結合體設計介面置信度比最強基線提高 14%；針對此前無已報導從頭設計結合體的 GM2A，90 個測試設計中有 9 個產生結合體。
llama.cpp releasesAI 評分46
llama.cpp 修復繁忙 slot 被載入錯誤上下文的問題
llama.cpp 新版修復了請求指定繁忙 id_slot 時的上下文錯亂問題。此前這類請求仍會先在該 slot 上執行 prompt cache 更新，若 RAM 快取命中更好的匹配，就會把新上下文載入仍在生成中的 slot，導致生成在錯誤上下文上繼續；現在繁忙 slot 會原樣返回，請求排隊等待（#30295）。
llama.cpp releases● 精選AI 評分85
llama.cpp v0.7.0 發布：MoE 專家快取最高帶來 2.2 倍解碼提速
llama.cpp 發布 v0.7.0，最核心的變化是新增主機記憶體 MoE 專家的 GPU 快取（--moe-cache-mib），專家改由裝置端 LRU 快取執行，專家解除安裝時解碼最高提速約 2.2 倍，且該快取可跨多張 GPU 共享。版本同時加入 LiliCorr 投機解碼與 GLM5-Next 的 MTP 投機解碼，並支援 K2 Horizon、Prism Bonsai 2 27B、EmbeddingGemma-2、MiniCPM-V 4.7 等一批新模型。
llama.cpp releasesAI 評分40
llama.cpp b11600 修復 T5 無快取注意力的 KQ 偏置填充
llama.cpp 發布建置 b11600，主要修復無快取注意力中 KQ 偏置未填充的問題：T5 會額外加入形狀為 [n_tokens, n_tokens] 的相對位置偏置，當 n_tokens 不能整除填充後的寬度時，與 KQ 相加會失敗，現在按 K、V 的做法用零把偏置填充到 mask 的 KV 維度。
Claude Code releasesAI 評分45
v2.1.294
Claude Code 發布 v2.1.294，修復了以自然語言指令編寫的 prompt 與 agent hooks 會放行本應被攔截操作的問題——使用者寫「攔截某類命令」時，這些命令此前可能照常執行。該版本還改進了 Stop 與 SubagentStop 上同類指令式 prompt hooks 的判斷，例如「建置失敗也繼續」這類寫法，讓 Claude 更不容易提前停止。更新說明未列出其他改動。
Hacker News front pageAI 評分42
文章稱 agent 不需要記憶外掛，應改用文件式記憶
2026 年 10 月 3 日，一篇技術文章批評市面上的 agent 記憶外掛本質都是 RAG：把會話切成片段存入向量庫，每次提示注入最相似的 5 條，存在相似度不等於正確、片段脫離上下文、舊記憶被當作事實、無法審計等問題。作者主張改用文件式記憶，讓 agent 工作前查閱 Markdown 文件、工作後更新，並稱已把這一思路做成外掛 Operator Memory，不使用向量資料庫和嵌入。
Hacker News front pageAI 評分50
開源基準 Parsimony 按語法單元統計 AI 新增程式碼量
Parsimony 是一個開源基準，用來衡量 AI 模型在改程式碼時到底新增了多少程式碼。它複用 DeepSWE、SWE-bench Verified 與 SWE-bench Live 已公開的補丁，統計語句、呼叫、命名、字面量等「編碼單元」而非程式碼行數，並減去被刪除的程式碼，只算淨增量。GPT-6 與 Claude 5.5 尚無公開補丁，作者在自己的訂閱上跑了 3–10 個任務，結果以淺色圓圈顯示、不參與排名。作者也歡迎提交新模型的公開補丁匯出。
llama.cpp releasesAI 評分47
llama.cpp b11411 修復 KV cache 旋轉後設資料不匹配問題
llama.cpp 發布 b11411，修復恢復 KV cache 時 rotation 後設資料不匹配的問題：現在會儲存精確的 rotation 後設資料，並拒絕恢復與之不匹配的快取。原先的 state rotation 測試被移入 test-save-load-state，納入儲存/載入測試矩陣，對所有受測模型執行，並探測模型支援的 KV cache 型別組合，不使用 attention rotation 的模型視為空通過。
llama.cpp releases● 精選AI 評分67
llama.cpp SYCL 後端為 IQ3 加持久權重重排，解碼提速最高 82%
llama.cpp 的 SYCL 後端為 IQ3_S/IQ3_XXS 加入持久化權重重排，在 Intel Arc Pro B70 上解碼速度最高提升 82%。權重在載入時只重排一次，MMVQ 點積改用 dp4a 與 SWAR 符號擴充套件遍歷稠密超級塊，重排感知的反量化也接入批次 prefill 的 GEMM。
量子位AI 評分46
AI 程式設計模型集體滿口黑話：思維鏈壓縮省 70% Token
量子位發文吐槽，Fable、Sol 等與 Coding 沾邊的模型普遍輸出「15/15 全綠」「單腿啞火」這類黑話。文中分析，除 Coding 過擬合外，更主要的原因是廠商為省 Token 把思維鏈壓縮成「穴居人語」，OpenAI 最早這麼做，同樣一句話的 Token 消耗比白話文少 70%；Claude 自 Opus 4.6 起也開始如此。作者稱最新 Opus 5.5 語言能力回升明顯，而 Gemini 因輸出風格正常、排版層級清晰，被社群視為少數還能正常溝通的 AI。
OpenAI NewsAI 評分46
Third Moment 用 GPT-6 與 Codex 併發執行 1 萬個 agent
AI 實驗室 Third Moment Research 藉助 OpenAI 的 GPT-6 Astra、GPT-6.1 Sol 與 Codex，可同時執行 1 萬個 agent，單次自主研究持續 36–48 小時。Codex 曾定位量化回測瓶頸並部署快取與記憶體打包最佳化，把一年美股訂單級資料的回測從約 3 小時縮短到 3–5 分鐘，回測時間減少 97%。
Cloudflare blog (AI)AI 評分56
Cloudflare 與 OpenAI 試點為 ChatGPT 新增數億網頁索引
Cloudflare 與 OpenAI 公布了 2026 年 7 月啟動的搜尋發現聯合試點的早期結果：僅使用 Cloudflare 約 1% 的網路規模，就讓 OpenAI 發現並索引了數億個此前未被收錄的網頁，為 ChatGPT 提供更多資訊源。試點還在測試過濾失效、跳轉與重複頁面的訊號，以及標記單個被入侵頁面（如偽造登入頁）的安全訊號，並用變更訊號判斷頁面是否值得重抓，以減少站點的無效爬取負載。該研究只用網頁後設資料服務搜尋與發現，不把頁面內容用於模型訓練；
Hacker News front pageAI 評分53
Claude Code 新增建議訊息功能，作者稱真正客戶是模型
Claude Code 會在任務完成後於輸入框預填一條建議的下一條訊息，例如 run the tests 或 commit this，使用者可直接傳送或先行編輯。作者認為該功能的真正受益方是模型：原樣傳送等於正樣本，編輯後的原文與改後版本構成偏好對，diff 顯示出預測錯在哪裡，從而在使用者正常工作中低成本產出 RLHF 所需資料，且來自真實程式碼庫而非合成基準。作者同時宣告這只是猜測，Anthropic 如何使用該訊號、會話是否用於訓練取決於套餐與隱私設定。
機器之心AI 評分50
OpenAI 預告 Astra 6.1，主打刪減屎山程式碼
OpenAI 產品負責人 Tibo Sottiaux 發帖預告未來模型會更擅長刪除和簡化程式碼，並在評論中確認 Astra 6.1「coming soon」。負責 coding post-training 的研究員 Rajan Agarwal 轉發該帖，並公開徵集使用者遇到的 sloppy code 與程式碼品質問題。《華爾街日報》此前報導，Astra 6.1 原計劃 10 月發布，因內部安全測試中在權限邊界上表現不穩而被臨時叫停。
X @OpenAIAI 評分16
OpenAI 提示可用互動式回答自訂回覆
OpenAI 官方帳號發布提示，邀請使用者試用互動式回答（interactive answers）來定製自己的回覆。原文僅有這一句，未說明該功能出現在哪個產品、如何進入、開放範圍與上線時間。
OpenAI Codex changelog● 精選AI 評分81
GPT-6.1 Sol 超高速模式登陸 Codex 與 ChatGPT Work
GPT-6.1 Sol 的 Ultrafast 超高速模式已在 Codex 和 ChatGPT Work 上線，主要作用是加快 token 生成速度。該模式對 Pro $500 方案以及符合條件的 Enterprise 和 Edu 方案開放，企業版預設關閉，需要工作區管理員手動開啟。它支援將推理駐留在美國和歐洲（EEA 加瑞士）。官方另提供 Ultrafast 模式的方案與工作區要求、模型選擇指南，以及用量和額度費率說明。
Hacker News front page● 精選AI 評分81
2.17 億網頁回應掃描：7959 個站點用回應頭指揮 AI
掃描 Common Crawl 2026 年 9 月抓取的 2.17 億個頁面回應後發現，7,959 個站點的 HTTP 回應頭是寫給 AI 系統的：其中 7,271 個是指向 llms.txt 或 MCP 伺服器的指標，只有 30 個含注入指令（24 個藏在 X-AI 頭中），多為惡作劇。另有 139 個站點用回應頭記錄是否把客戶端識別為 AI bot。
Simon WillisonAI 評分41
llm-echo 0.5 發布，模擬 token 統計計入工具呼叫與推理 token
llm-echo 0.5 發布，這個除錯外掛不接入任何 LLM，只把收到的 prompt 原樣回顯，新版讓模擬的 token 用量統計把工具呼叫、系統提示詞和推理 token 都計算在內。
機器之心AI 評分42
OpenAI 將 RSI 列為戰略目標，MemoraX 展示記憶驅動自進化
OpenAI 於 9 月 21 日發布官方戰略宣告，把自動化 AI 研究員與遞迴自我改進（RSI）列為下一階段重要目標，並計劃在 2028 年 3 月前打造真正的自動化 AI 研究員；Anthropic 同期披露，截至 8 月 Claude 已在約 26% 的內部 AI 研發工作中承擔主導角色。
Hacker News front pageAI 評分68
Llmspeed 上線：按硬體和模型查本地大模型推理速度
Llmspeed 是一個可按硬體或模型查詢本地大模型推理速度的網站，用於在購買硬體前預估實際體驗。它覆蓋 RTX 5090、RTX 3090、Mac Studio M5 Ultra 512GB、DGX Spark、Strix Halo 與純 CPU 等三十餘種配置，以及 Qwen 3.6/3.8 27B、GPT-OSS 120B、DeepSeek V4 Flash、GLM-5.3 Flash 等模型，給出短提示、單裝置下的速度估計。