llm-tools-datasette 0.1.1 發布,修復 LLM 0.33 相容問題
llm-tools-datasette 0.1.1 發布,修復因 LLM 0.33 改用 httpx2 而導致的外掛失效問題。該外掛的作用是把 Datasette 例項作為工具暴露給 LLM。作者 Simon Willison 稱,LLM 0.33 切換到 httpx2 時,他忘了這會讓所有使用 httpx 卻沒有直接宣告該依賴的外掛出問題,llm-tools-datasette 正是其中之一,現已修復。
原標題:llm-tools-datasette 0.1.1
閱讀原文
| 評分 | 35 / 35(平均 35,門檻 65) |
|---|---|
| 狀態 | 未入選 |
相關報導
llm-echo 0.5 發布,模擬 token 統計計入工具呼叫與推理 token
llm-echo 0.5 發布,這個除錯外掛不接入任何 LLM,只把收到的 prompt 原樣回顯,新版讓模擬的 token 用量統計把工具呼叫、系統提示詞和推理 token 都計算在內。
llama.cpp 新增 Decision 模型支援
llama.cpp 最新建置已加入 Decision 模型支援,新增 /v1/systemone 端點,可在本地進行 Jev 風格推理,兼顧效率與隱私。目前支援多個開源模型,官方表示後續還會增加更多模型。
llama.cpp v0.7.0 發布,llama serve 新增懶載入與推測解碼
llama.cpp 發布 v0.7.0,作者給出的範例命令是 llama serve -hf ggml-org/Qwen3.8-Flash-Next-GGUF:IQ4_NL --spec-type draft-mtp --lazy-mode on。命令通過 -hf 指定 Hugging Face 上的 Qwen3.8-Flash-Next GGUF 倉庫及 IQ4_NL 量化,並同時開啟 --lazy-mode 懶載入與 --spec-type draft-mtp 推測解碼。
llm-mistral 0.16 發布,新增支援 Mistral Large 4 等推理模型
Simon Willison 發布 LLM 外掛 llm-mistral 0.16,新增對推理模型的支援,包括新發布的 Mistral Large 4。該外掛通過 Mistral API 提供對 Mistral 模型的訪問,屬於 LLM 外掛生態的一部分。發布日期為 2026 年 10 月 6 日。
llama.cpp 新增 IBM Granite Switch 決策模型支援
llama.cpp 發布 b11700,新增對 IBM Granite Switch 決策模型的轉換與推理支援,改動覆蓋 convert、common 與 server,模板參考 granite-switch-4.1-8b。開發中曾加入 decision.chat 讓決策模型兼作聊天,隨後被回退,最終確定為只要 Granite Switch 支援決策就始終支援文字,server README 也同步更新。