Ollama 0.35 支援 Jev 決策模型,本地低延遲
Ollama 0.35 起支援基於 TypeSafe Jev API 的決策模型:通過新的 /v1/systemone 端點,把文字作為 state、配上一組命名問題,本機模型在一次請求裡全部作答,且無額外費用。首批三個模型為 Bespoke Labs 的 9B nimble,以及 Together AI 的實驗性 4B tev1 和 0.8B tev1:0.8b,用 ollama pull 即可下載,可通過 curl 或 TypeSafe 官方 Python SDK 呼叫。
你正打算用 Mac Studio 跑本地模型,這個端點能用 nimble 把分診、路由這類高頻判斷壓到毫秒級並留在本機,且 MLX 加速已在官方路線圖上。
原標題:Ollama now supports Jev-style decision models
閱讀原文
| 評分 | 80 / 85(平均 82,門檻 60) |
|---|---|
| 狀態 | 精選(舊聞,已歸檔) |