AISpot

搜尋

找到 4 筆;也可以試試 語意搜尋

llama.cpp releasesAI 評分51

llama.cpp server 通過 /props 暴露推理強度等級

llama.cpp 建置 b11944 讓 server 在 /props 的 chat_template_caps 中以 reasoning_effort_levels 欄位報告聊天模板支援的推理強度等級,按從低到高排列。探測方式是對 minimal、low、medium、high、xhigh、max 及一個未知等級分別渲染使用者輪次,能正常渲染且結果與未知等級不同才算被支援;渲染結果相同的視為別名,只保留最高階。

llama.cpp releasesAI 評分43

llama.cpp 的 server 讓 RERANK 端點支援多模態輸入

llama.cpp 建置 b11818 讓 server 的 RERANK 端點支援帶型別的 content 輸入,可直接傳入多模態內容。當模型沒有 rerank chat template 時,服務端會明確拒絕多模態輸入,而不是像此前那樣靜默丟棄圖片;媒體下載或 base64 解碼失敗、top_n 為負數也改為返回 400 而不是 500。README 同時補充說明:TEI 的輸入格式與 Jina 保持一致。