搜尋：上下文快取

r/LocalLLaMA top of the day10/3 07:18AI 評分70

llama.cpp 新 PR 將 Qwen4 索引器視訊記憶體減半

llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體，把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB，262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變，僅分數因 fp32 舍入有差異；有使用者反饋解碼速度約降 10%。

地端推論開源 llama.cpp Qwen VRAM 推理最佳化 PR

2 個來源 · 2 則報導閱讀原文

Hacker News front page10/3 18:03AI 評分42

文章稱 agent 不需要記憶外掛，應改用文件式記憶

2026 年 10 月 3 日，一篇技術文章批評市面上的 agent 記憶外掛本質都是 RAG：把會話切成片段存入向量庫，每次提示注入最相似的 5 條，存在相似度不等於正確、片段脫離上下文、舊記憶被當作事實、無法審計等問題。作者主張改用文件式記憶，讓 agent 工作前查閱 Markdown 文件、工作後更新，並稱已把這一思路做成外掛 Operator Memory，不使用向量資料庫和嵌入。

開發工具 agent memory RAG documentation AGENTS.md context engineering

閱讀原文