搜尋

自建 LLM 代理才能看清 token 用量與呼叫日誌

有開發者主張，訂閱制前端自帶的用量面板不足以支撐工程決策，LLM 代理應當自己託管。自建代理可在單一端點聚合多家供應商與模型，記錄哪個金鑰在何時、用哪個客戶端呼叫了哪個模型及其狀態，並用虛擬 API key 避免主金鑰散落在各類 agent 與工具中，還能快速切換模型而不必重新配置。作者不推薦具體代理服務，只建議部署在自己可控的環境並按需改造，例如增加自訂 MCP server 端點；其代理帶 API，編碼會話中的快取未命中可在約 20 秒內手工定位，也可自動化。