搜尋

llama.cpp b11455 新增 PLaMo-3 分詞器預切分

llama.cpp 建置 b11455 新增 vocab 型別 plamo3，實現 PLaMo-3 分詞器的預切分。它在 Unigram DP 前插入硬邊界，針對形如 <|plamo:...|> 的文字，以及連續至少 4 個相同字元或 2 個空格的片段；否則 llama.cpp 對程式碼縮排和重複標點的分詞會與參考實現不同。