llama.cpp 新增 IBM Granite Switch 決策模型支援
llama.cpp 發布 b11700,新增對 IBM Granite Switch 決策模型的轉換與推理支援,改動覆蓋 convert、common 與 server,模板參考 granite-switch-4.1-8b。開發中曾加入 decision.chat 讓決策模型兼作聊天,隨後被回退,最終確定為只要 Granite Switch 支援決策就始終支援文字,server README 也同步更新。
IBM 於 2026 年 10 月 15 日在 Hugging Face 部落格發布 Granite Switch 4.1,提供 8B 與 30B 兩個版本,在同一個託管端點上整合對話、決策與語音轉寫三類任務。據 Hugging Face 部落格介紹,新模型加入面向通用決策的 Decision aLoRA,以及專用的 Guardian aLoRA,後者在安全相關決策任務上平均優於 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 和 Clef-Flash;同時內嵌 OpenASR 排行榜上速度最快的 ASR 模型 Granite-Speech-5.0-Turbo-CTC。這三項技術與底層基座模型被組合進同一個模型,在 GPU 上佔用的視訊記憶體與基座模型單獨執行時大致相當,官方稱這意味著用更少的 GPU 獲得更多能力;Switch 介面卡以快取高效的 Activated LoRA 形式建置。次日,llama.cpp 發布 b11700,新增對 IBM Granite Switch 決策模型的轉換與推理支援,改動覆蓋 convert、common 與 server,模板參考 granite-switch-4.1-8b。開發過程中曾加入 decision.chat 讓決策模型兼作聊天,隨後被回退,最終方案是隻要 Granite Switch 支援決策就始終支援文字,server 的 README 也同步更新。對在本地跑模型的人來說,Granite Switch 的決策能力現在可以在 llama.cpp 中轉換並推理。
AI 根據 2 則報導生成 · 更新
沿著報導,了解事件的不同側面;點標題看單篇報導的摘要與原文連結。
llama.cpp 發布 b11700,新增對 IBM Granite Switch 決策模型的轉換與推理支援,改動覆蓋 convert、common 與 server,模板參考 granite-switch-4.1-8b。開發中曾加入 decision.chat 讓決策模型兼作聊天,隨後被回退,最終確定為只要 Granite Switch 支援決策就始終支援文字,server README 也同步更新。
過去 48 小時,有 2 個獨立來源報導,最近 6 小時新增 1 個。熱度 1.4,熱門榜第 8 名。
熱度以 48 小時內的獨立來源計,同一來源只算一次,每 24 小時權重減半。
同一事件的報導集中在這裡,新的進展會繼續補充。