llama.cpp 支援 Nemotron:非標準 GQA 與 BPE 分詞器
llama.cpp 建置版本 b11819 新增 Nemotron 模型支援,可處理非標準 GQA 與 BPE 分詞器,併相容 domyn-small 的 pre-type。同時 gguf-py 會把 Metaspace 的 prepend_scheme 寫入 GGUF 後設資料,分詞器在 detokenize 時按該設定還原空格。該版本已提供 macOS、Linux、Windows、Android 等平台的預編譯包。
補齊 Nemotron 的非標準 GQA 與 BPE 分詞器支援,並把 Metaspace prepend_scheme 寫入 GGUF 後設資料,對在本地用 llama.cpp 跑 Nemotron 系列模型的人最直接有用。
原標題:b11819
閱讀原文
| 評分 | 50 / 62(平均 56,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp b11778 支援 Nemotron-3(.5)-Embed 模型
llama.cpp 發布 b11778 版本,新增對 Nemotron-3(.5)-Embed 嵌入模型的支援。該版本同步提供 macOS Apple Silicon、iOS、Linux(CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL)以及 Windows、Android、openEuler 等多平台預編譯包,搭載高通晶片的裝置還能額外使用 Adreno GPU 與 Hexagon NPU 加速。
llama.cpp 發布 b11814,新增 clean_spaces GGUF 鍵
llama.cpp 發布建置 b11814,程式碼層面唯一改動是為詞表(vocab)新增 clean_spaces 這個 GGUF 鍵(#30940),其餘是各平台預編譯產物的例行更新。
llama.cpp 修復 Tekken 與 GPT-4o 分詞器正則
llama.cpp 發布 b11753 版本,主要變更是給 Tekken 與 GPT-4o 預分詞器正則的前瞻斷言加入 \p{M},用於正確處理附加符號類字元。該版本同時更新了覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯建置,包含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 以及驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。
llama.cpp 發布 b11397,CUDA 後端調整 neu_padded 位置
llama.cpp 發布建置版本 b11397,主要變更是將 CUDA 後端的 neu_padded 移動到實際使用位置(PR #29940),作者為 Hugging Face 的 Adrien Gallouët。該版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包,覆蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端;
llama.cpp 建置 b11793 最佳化詞表載入
llama.cpp 發布 b11793 建置,核心改動是最佳化詞表(vocabulary)載入(PR #30679)。同一批提交還更新了 src/unicode.h、在 gguf_kv_to_str 中預分配記憶體並修復行尾空格。