搜尋
找到 4 筆;也可以試試 語意搜尋
llama.cpp releasesAI 評分51
llama.cpp 建置 b11944 讓 server 在 /props 的 chat_template_caps 中以 reasoning_effort_levels 欄位報告聊天模板支援的推理強度等級,按從低到高排列。探測方式是對 minimal、low、medium、high、xhigh、max 及一個未知等級分別渲染使用者輪次,能正常渲染且結果與未知等級不同才算被支援;渲染結果相同的視為別名,只保留最高階。
llama.cpp releases● 精選AI 評分74
llama.cpp 合併了 K2 Horizon 稠密模型與 MoVA 支援,包含 GGUF 轉換、計算圖、tokenizer、chat template,以及推理與工具呼叫。
MLX LM releasesAI 評分53
MLX 發布 v0.30.6,新增 Kimi-K2.5、LongCat Flash、LongCat Flash Lite、Step 3.5 Flash 等模型支援,並修復 Deepseek V3.2、GLM 4.7 工具呼叫等問題。該版本還加入 Transformers v5 支援、服務端分散式推理、自訂模型載入,以及 chat_template_kwargs 和 top_logprobs 引數支援。
llama.cpp releasesAI 評分43
llama.cpp 建置 b11818 讓 server 的 RERANK 端點支援帶型別的 content 輸入,可直接傳入多模態內容。當模型沒有 rerank chat template 時,服務端會明確拒絕多模態輸入,而不是像此前那樣靜默丟棄圖片;媒體下載或 base64 解碼失敗、top_n 為負數也改為返回 400 而不是 500。README 同時補充說明:TEI 的輸入格式與 Jina 保持一致。