llm-echo 0.5 發布，模擬 token 統計計入工具呼叫與推理 token
llm-echo 0.5 發布，這個除錯外掛不接入任何 LLM，只把收到的 prompt 原樣回顯，新版讓模擬的 token 用量統計把工具呼叫、系統提示詞和推理 token 都計算在內。
原標題：llm-echo 0.5
閱讀原文
| 評分 | 48 / 34（平均 41，門檻 65） |
|---|---|
| 狀態 | 未入選 |
相關報導
自建 LLM 代理才能看清 token 用量與呼叫日誌
有開發者主張，訂閱制前端自帶的用量面板不足以支撐工程決策，LLM 代理應當自己託管。自建代理可在單一端點聚合多家供應商與模型，記錄哪個金鑰在何時、用哪個客戶端呼叫了哪個模型及其狀態，並用虛擬 API key 避免主金鑰散落在各類 agent 與工具中，還能快速切換模型而不必重新配置。作者不推薦具體代理服務，只建議部署在自己可控的環境並按需改造，例如增加自訂 MCP server 端點；其代理帶 API，編碼會話中的快取未命中可在約 20 秒內手工定位，也可自動化。
tiktoken 命令列工具 ttok 發布 0.4，新增 --list-models
基於 OpenAI 開源 tiktoken 庫的命令列 token 計數工具 ttok 發布 0.4 版，新增 --list-models 命令可列出可用模型，同時修復了一處 Click 警告並更新了 CI。該專案已約兩年沒有更新，這次屬於維護性版本。ttok 可直接通過 uvx 執行，例如把檔案內容用管道傳入 cat file.txt | uvx ttok 就能統計其中的 token 數。
llama.cpp 新增 Decision 模型支援
llama.cpp 最新建置已加入 Decision 模型支援，新增 /v1/systemone 端點，可在本地進行 Jev 風格推理，兼顧效率與隱私。目前支援多個開源模型，官方表示後續還會增加更多模型。
llm-tools-datasette 0.1.1 發布，修復 LLM 0.33 相容問題
llm-tools-datasette 0.1.1 發布，修復因 LLM 0.33 改用 httpx2 而導致的外掛失效問題。該外掛的作用是把 Datasette 例項作為工具暴露給 LLM。作者 Simon Willison 稱，LLM 0.33 切換到 httpx2 時，他忘了這會讓所有使用 httpx 卻沒有直接宣告該依賴的外掛出問題，llm-tools-datasette 正是其中之一，現已修復。
llama.cpp v0.6.0 發布：新增擴充套件 batch API 與 GLM-5.3-Flash 支援
llama.cpp 發布 v0.6.0，新增 llama_batch_ext 擴充套件 batch API，支援混合 token/embedding 輸入與 MTP、deepstack 狀態嵌入。本次加入 320B 的 GLM-5.3-Flash（GLM5-Next）文字+視覺混合模型、Clef 決策模型，以及 Qwen4Exp 的 MTP 投機解碼，官方稱在 DGX Spark 上解碼約快 1.5 倍。