搜尋

找到 2 筆；也可以試試語意搜尋

Ollama releases10/4 14:45AI 評分45

MLX v0.40.0-rc1 對齊發布方 tokenizer 語義

MLX 發布 v0.40.0-rc1，核心改動是讓本地 tokenizer 與模型發布方的語義保持一致，涵蓋預分詞階段順序、切分行為、Unicode 邊界、added token 歸一化和 BPE 合併排序，並統一處理空 added token 與空 Metaspace 輸入。同時新增 Go/Python 共享參考用例，直接拉取缺失模型並在出錯時失敗，另加配置優先順序、位元組回退與並行編碼的迴歸測試。

地端推論開發工具 MLX tokenizer BPE Unicode

閱讀原文

llama.cpp releases10/22 12:57AI 評分56

llama.cpp 支援 Nemotron：非標準 GQA 與 BPE 分詞器

llama.cpp 建置版本 b11819 新增 Nemotron 模型支援，可處理非標準 GQA 與 BPE 分詞器，併相容 domyn-small 的 pre-type。同時 gguf-py 會把 Metaspace 的 prepend_scheme 寫入 GGUF 後設資料，分詞器在 detokenize 時按該設定還原空格。該版本已提供 macOS、Linux、Windows、Android 等平台的預編譯包。

地端推論開源 llama.cpp Nemotron GQA BPE tokenizer GGUF

閱讀原文