Neuralwatt 實測：harness 快取差異可讓請求能耗翻倍
模型雲服務商 Neuralwatt 分析一個月流量發現，同一模型下不同 agent harness 的 prompt 快取命中率差異明顯，未快取輸入佔 1.6%–11.1%，而一次快取未命中會讓請求能耗約為全快取時的兩倍，GLM-5.3 上接近 2.5 倍。命中率 92% 相當於每 100 個輸入 token 有 8 個未快取，97% 時只有 3 個，prefill 工作量相差 2.7 倍。
首次用一個月真實流量把 harness 的 prompt 快取行為與 GPU 能耗、prefill 成本直接掛鉤，量化出未命中約 2 倍能耗與深層會話 600 輪代價，對 coding agent 開發者與推理服務運維者有用。
原標題：Why harnesses matter for energy (and token) efficiency
閱讀原文
| 評分 | 80 / 78（平均 79，門檻 76） |
|---|---|
| 狀態 | 精選 |
相關報導
南洋理工研究：Harness 選擇需與模型任務聯合評估
新加坡南洋理工大學安波團隊發布報告《Finding the Right Fit》，用 4 套可配置 Harness（OpenHands、DSH、PI、openJiuwen）交叉 5 個模型、3 個任務集，共得到 66 項結果。結論是 Harness 好壞並非固定屬性，同一模型換 Harness 後排名可能反轉，原生搭配也不一定最優；成本更高未必得分更好。
用 ML Intern 幾天做出 6 個模型，9B 改寫器壓到 0.8B
Hugging Face 的 yuvraj sharma 用 HuggingChat 裡的 ML Intern agent，幾天內做出 6 個公開模型，其中把 Qwen-Image 2.1 自帶的 9B 提示改寫器蒸餾成 0.8B 版本，可在 CPU 執行，輸出有效率 99.7%，token 消耗約為教師模型的四分之一。該專案含 9B 模型標註 8,797 條樣本，算力成本 16 美元。
llama.cpp 新 PR 將 Qwen4 索引器視訊記憶體減半
llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體，把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB，262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變，僅分數因 fp32 舍入有差異；有使用者反饋解碼速度約降 10%。
llama.cpp server 的 prompt cache 只儲存可恢復狀態
llama.cpp 更新 server 的 prompt cache 邏輯：現在只儲存可恢復的 slot 狀態（PR #30498）。此前每個任務啟動時都會把空閒 slot 全部寫入快取，rerank、embedding、decision、infill 的狀態填滿快取卻從不被讀回；
研究：LLM 用 1866 年電報體壓縮記錄可省近半 token
一份 50 篇材料、約 1300 題的新基準（Telegraph Test，程式碼與資料已開源）顯示，只需一句小寫指令讓模型用 1866 年跨大西洋電纜時代的電報體（cablese）撰寫壓縮記錄，輸出 token 可省 40%–49%，而下游模型讀取這些記錄的準確率不低於明文（恢復比 0.99–1.10）。GLM-5.3-Flash 自身省 48.4%，qwen3.8-27b 省 48.9%，gemma-4-31b 省 40.4%；