搜尋

找到 2 筆；也可以試試語意搜尋

llama.cpp releases10/22 12:57AI 評分56

llama.cpp 支援 Nemotron：非標準 GQA 與 BPE 分詞器

llama.cpp 建置版本 b11819 新增 Nemotron 模型支援，可處理非標準 GQA 與 BPE 分詞器，併相容 domyn-small 的 pre-type。同時 gguf-py 會把 Metaspace 的 prepend_scheme 寫入 GGUF 後設資料，分詞器在 detokenize 時按該設定還原空格。該版本已提供 macOS、Linux、Windows、Android 等平台的預編譯包。

地端推論開源 llama.cpp Nemotron GQA BPE tokenizer GGUF

閱讀原文

llama.cpp releases● 精選10/17 12:32AI 評分62

llama.cpp 新增 Kolibri-1 支援，78B 德語英語 MoE

llama.cpp 建置 b11709 加入對 Aleph-Alpha 的 Kolibri-1 支援。這是德語/英語雙語 MoE 推理模型，78B 總引數、每 token 啟用 3.46B，50 層、384 個路由專家加 1 個共享專家，注意力以 4 層滑動視窗（視窗 513）交替 1 層全注意力，GQA 為 48 查詢頭對 4 KV 頭。

模型地端推論 llama.cpp Kolibri-1 MoE 本地推理 FP8

閱讀原文