搜尋

找到 2 筆；也可以試試語意搜尋

llama.cpp releases10/14 09:51AI 評分47

llama.cpp 為 Unigram 分詞器加入可選 NFC 歸一化

llama.cpp 合併 PR #30390，為 Unigram 分詞器加入可選開啟的 NFC 歸一化，用於處理 Unicode 組合字元不一致導致的 tokenize 差異，需顯式啟用而非預設生效。該建置版本號為 b11612，覆蓋 macOS、Linux、Windows、Android 及 openEuler 等平台，包含 CUDA 12/13、Vulkan、ROCm、SYCL、OpenVINO 等後端；

開發工具地端推論 llama.cpp NFC normalization Unigram tokenizer 本地推理版本更新

閱讀原文

llama.cpp releases● 精選10/6 20:43AI 評分62

llama.cpp b11455 新增 PLaMo-3 分詞器預切分

llama.cpp 建置 b11455 新增 vocab 型別 plamo3，實現 PLaMo-3 分詞器的預切分。它在 Unigram DP 前插入硬邊界，針對形如 <|plamo:...|> 的文字，以及連續至少 4 個相同字元或 2 個空格的片段；否則 llama.cpp 對程式碼縮排和重複標點的分詞會與參考實現不同。

開發工具地端推論 llama.cpp PLaMo-3 tokenizer 分詞器版本發布

閱讀原文