自建 LLM 代理才能看清 token 用量與呼叫日誌
有開發者主張，訂閱制前端自帶的用量面板不足以支撐工程決策，LLM 代理應當自己託管。自建代理可在單一端點聚合多家供應商與模型，記錄哪個金鑰在何時、用哪個客戶端呼叫了哪個模型及其狀態，並用虛擬 API key 避免主金鑰散落在各類 agent 與工具中，還能快速切換模型而不必重新配置。作者不推薦具體代理服務，只建議部署在自己可控的環境並按需改造，例如增加自訂 MCP server 端點；其代理帶 API，編碼會話中的快取未命中可在約 20 秒內手工定位，也可自動化。
原標題：If you don't run your own LLM proxy, how do you know whats going on?
閱讀原文
| 評分 | 52 / 45（平均 48，門檻 76） |
|---|---|
| 狀態 | 未入選 |
相關報導
llm-echo 0.5 發布，模擬 token 統計計入工具呼叫與推理 token
llm-echo 0.5 發布，這個除錯外掛不接入任何 LLM，只把收到的 prompt 原樣回顯，新版讓模擬的 token 用量統計把工具呼叫、系統提示詞和推理 token 都計算在內。
LiquidAI 發布 LFM2.5-24B-A2B：2B 啟用引數的端側 Agent 推理模型
LiquidAI 發布 LFM2.5-24B-A2B：總引數 24B、每 token 僅 2B 啟用的 MoE 推理模型，專為在本機持續執行的私有 Agent 設計。它先輸出思維鏈再作答，能呼叫工具，上下文由上一代 32K 擴到 131K，詞表從 65K 翻倍至 128K。
自建魔獸私服，讓 LLM 在瀏覽器裡玩遊戲
作者搭建了魔獸世界私服 jankcraft.xyz，並開發瀏覽器客戶端，PC 和手機均可免費遊玩。隨後用自訂 MCP 與 agent harness 通過 websocket 控制客戶端，讓 LLM 自動玩遊戲，agent 頁面已上線。本地模型需服務端開啟 CORS，作者自託管的幾個模型可能因用量增長下線；24GB 記憶體可跑 Qwen3.8-27B-GPTQ-W4A16，16GB 記憶體可用 vLLM 跑 Gemma4-e4b-coder。
研究：LLM 用 1866 年電報體壓縮記錄可省近半 token
一份 50 篇材料、約 1300 題的新基準（Telegraph Test，程式碼與資料已開源）顯示，只需一句小寫指令讓模型用 1866 年跨大西洋電纜時代的電報體（cablese）撰寫壓縮記錄，輸出 token 可省 40%–49%，而下游模型讀取這些記錄的準確率不低於明文（恢復比 0.99–1.10）。GLM-5.3-Flash 自身省 48.4%，qwen3.8-27b 省 48.9%，gemma-4-31b 省 40.4%；
自託管 AI 並不省錢，作者仍堅持自建
一篇部落格文章指出，自託管 AI 在成本上並不比使用 API 便宜，但作者依然選擇自建。作者強調不會把 200 GB 的郵件、訊息和位置歷史傳送給 API，即使對方承諾零資料保留。他還提醒，拿 200 美元訂閱與 Opus 5.5 或 Astra 對比 Qwen 3.8 27B 並非對等比較。