搜尋

MLX v0.40.0-rc1 對齊發布方 tokenizer 語義

MLX 發布 v0.40.0-rc1，核心改動是讓本地 tokenizer 與模型發布方的語義保持一致，涵蓋預分詞階段順序、切分行為、Unicode 邊界、added token 歸一化和 BPE 合併排序，並統一處理空 added token 與空 Metaspace 輸入。同時新增 Go/Python 共享參考用例，直接拉取缺失模型並在出錯時失敗，另加配置優先順序、位元組回退與並行編碼的迴歸測試。