X @ggerganov● 精選10/2 15:33AI 評分82
llama.cpp 上線 Decision 模型與 /v1/systemone 端點
llama.cpp 最新建置已支援 Decision 模型,新增 /v1/systemone 端點,可在本地高效、私密地做 Jev 風格推理。該端點支援多個開源模型,後續還會增加。
找到 4 筆
llama.cpp 最新建置已支援 Decision 模型,新增 /v1/systemone 端點,可在本地高效、私密地做 Jev 風格推理。該端點支援多個開源模型,後續還會增加。
Cloudflare 的決策模型現已在 Ollama 上提供,可用於影像分類、給 bug 報告打標籤或把支援工單路由到正確團隊。共兩個型號:Clef(27B)用 ollama pull clef 拉取,Clef Flash(9B)用 ollama pull clef-flash 拉取。
Cloudflare 在 Workers AI 上發布自研決策模型 Clef 與 Clef-flash,並以 Apache 2.0 許可在 Hugging Face 完全開源、可本地執行,同時推出可把 Clef 微調到自家場景的強化學習產品。
Ollama 0.35 起支援基於 TypeSafe Jev API 的決策模型:通過新的 /v1/systemone 端點,把文字作為 state、配上一組命名問題,本機模型在一次請求裡全部作答,且無額外費用。首批三個模型為 Bespoke Labs 的 9B nimble,以及 Together AI 的實驗性 4B tev1 和 0.8B tev1:0.8b,用 ollama pull 即可下載,可通過 curl 或 TypeSafe 官方 Python SDK 呼叫。