找到 7 筆
模型雲服務商 Neuralwatt 分析一個月流量發現，同一模型下不同 agent harness 的 prompt 快取命中率差異明顯，未快取輸入佔 1.6%–11.1%，而一次快取未命中會讓請求能耗約為全快取時的兩倍，GLM-5.3 上接近 2.5 倍。命中率 92% 相當於每 100 個輸入 token 有 8 個未快取，97% 時只有 3 個，prefill 工作量相差 2.7 倍。
llama.cpp 更新 server 的 prompt cache 邏輯：現在只儲存可恢復的 slot 狀態（PR #30498）。此前每個任務啟動時都會把空閒 slot 全部寫入快取，rerank、embedding、decision、infill 的狀態填滿快取卻從不被讀回；
Pi 1.3.0 發布，在 OpenAI GPT-6（API key）上中途調整思考等級現在會保留 prompt cache；Kimi Code 改用官方客戶端的 Chat Completions 協議，K3、K3-256K 與 Kimi For Coding 中途新增工具也不再讓快取失效。切換模型時舊模型的 thinking 塊會被丟棄，不再以純文字傳給新模型；
llama.cpp 發布 b11583，主要改動是在「no cache」路徑下避免圖記憶體的重複分配（#30439），即不使用 prompt 快取時可減少反覆申請與釋放視訊記憶體/記憶體。該版本照例提供 macOS、Linux、Windows、Android 等平台的預編譯包，其中 macOS Apple Silicon 的 KleidiAI 建置和 openEuler 建置本次標記為 DISABLED。
OpenAI 於 2026 年 10 月 2 日發布 GPT-6 系列模型指南，該系列包含三款模型：GPT-6 Astra（輸入 $10/輸出 $50 每百萬 token）、GPT-6.1 Sol（輸入 $2/輸出 $10）和 GPT-6 Luna（輸入 $0.1/輸出 $0.5）。指南建議按任務難度匹配模型與推理等級，並利用提示快取（快取輸入最高便宜 95%）和壓縮控制成本，同時提供 Fast 與 Ultrafast 加速模式。
llama.cpp 新版修復了請求指定繁忙 id_slot 時的上下文錯亂問題。此前這類請求仍會先在該 slot 上執行 prompt cache 更新，若 RAM 快取命中更好的匹配，就會把新上下文載入仍在生成中的 slot，導致生成在錯誤上下文上繼續；現在繁忙 slot 會原樣返回，請求排隊等待（#30295）。
自建 AI 程式碼審查的平均單次成本從 2.43 美元降到 0.77 美元，降幅 68%；中位審查耗時也從 4 分 09 秒縮短到 1 分 32 秒。約 40% 的節省來自審查器程式碼最佳化，其餘來自更換所用模型與調整推理強度；在此之前，成本已從 4 月的 1.19 美元漲到 8 月的約 2.46 美元。審查器現已整體遷移到重寫的 OpenCode v2，影子模式對比中 98% 的合併請求審批結論一致，全量審查約快 13%。