llama.cpp b11813 把 Pixtral 的預分詞器換成 Tekken
llama.cpp 發布 b11813,Pixtral 改用 Tekken 預分詞器,不再沿用 Llama 3 的預分詞器(#30960),改變了該視覺模型的文字切分方式。
原標題:b11813
閱讀原文
| 評分 | 40 / 40(平均 40,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 修復 Tekken 與 GPT-4o 分詞器正則
llama.cpp 發布 b11753 版本,主要變更是給 Tekken 與 GPT-4o 預分詞器正則的前瞻斷言加入 \p{M},用於正確處理附加符號類字元。該版本同時更新了覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯建置,包含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 以及驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。
llama.cpp b11455 新增 PLaMo-3 分詞器預切分
llama.cpp 建置 b11455 新增 vocab 型別 plamo3,實現 PLaMo-3 分詞器的預切分。它在 Unigram DP 前插入硬邊界,針對形如 <|plamo:...|> 的文字,以及連續至少 4 個相同字元或 2 個空格的片段;否則 llama.cpp 對程式碼縮排和重複標點的分詞會與參考實現不同。
llama.cpp b11572 新增 vLLM d3 模型支援
llama.cpp 發布 b11572,新增對 vLLM d3 模型的支援(d2 同步更新),並加入 pplx-decider 模型支援,同時澄清命名規則、加強校驗。該版本照例提供 macOS/iOS、Linux、Windows、Android、openEuler 的預編譯包,覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。
llama.cpp 支援 Nemotron:非標準 GQA 與 BPE 分詞器
llama.cpp 建置版本 b11819 新增 Nemotron 模型支援,可處理非標準 GQA 與 BPE 分詞器,併相容 domyn-small 的 pre-type。同時 gguf-py 會把 Metaspace 的 prepend_scheme 寫入 GGUF 後設資料,分詞器在 detokenize 時按該設定還原空格。該版本已提供 macOS、Linux、Windows、Android 等平台的預編譯包。
llama.cpp b11774 修復 LFM2 影像預處理,切片與網格對齊 transformers
llama.cpp 新建置 b11774 修正了 LFM2 系列視覺模型(LFM2-VL、LFM2.5-VL、d1-3B)的 mtmd 影像預處理,使切片與網格選擇與 Hugging Face transformers 一致。此前 llama.cpp 保留寬高比並補黑邊、只有 d1-omni 會拉伸,影像比例與網格不符時切片與 transformers 不同;現在設 PAD_NONE 即與 transformers 相同。