AISpot

MLX v0.40.0-rc1 對齊發布方 tokenizer 語義

Ollama releases10/4 15:45版本更新地端推論開發工具

MLX 發布 v0.40.0-rc1,核心改動是讓本地 tokenizer 與模型發布方的語義保持一致,涵蓋預分詞階段順序、切分行為、Unicode 邊界、added token 歸一化和 BPE 合併排序,並統一處理空 added token 與空 Metaspace 輸入。同時新增 Go/Python 共享參考用例,直接拉取缺失模型並在出錯時失敗,另加配置優先順序、位元組回退與並行編碼的迴歸測試。

原標題:v0.40.0-rc1: mlx: match publisher tokenizer semantics (#18779)
閱讀原文

評分48 / 42(平均 45,門檻 60)
狀態未入選

原文

mlx: match publisher tokenizer semantics Honor pretokenizer stage order, split behavior, Unicode boundaries, added-token normalization, and ranked BPE merges. Handle empty added tokens and empty Metaspace input consistently. Add shared Go/Python reference cases using published tokenizers, pulling missing models directly and failing on errors, plus focused regressions for configuration precedence, byte fallback, and parallel encoding. address comments

相關報導

llama.cpp releases10/5 09:19AI 評分12

llama.cpp 發布 b11407,修復 Vulkan 測試編譯錯誤

llama.cpp 發布 b11407 版本,修復了在開啟 -DGGML_VULKAN_RUN_TESTS=ON 時 Vulkan 後端出現的未宣告識別符號問題。該版本同步提供 macOS、Linux、Windows、Android 等多平台預編譯包,涵蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端。

llama.cpp releases10/2 23:23AI 評分37

llama.cpp 發布 b11352 版本,最佳化 Qwen4 掩碼構造

llama.cpp 發布 b11352 建置版本,主要變更為最佳化 Qwen4 的掩碼構造(#29824),並將相同改動應用到 GLM5-next。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台,提供 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等多種後端建置,其中 macOS Apple Silicon 的 KleidiAI 建置被標記為 DISABLED。

llama.cpp releases10/4 13:34AI 評分36

llama.cpp 修復 Vulkan 後端 RDNA4 矩陣向量調優

llama.cpp 發布 b11389 版本,修復了 Vulkan 後端在 RDNA4 架構上的矩陣向量運算調優問題(PR #29934)。該版本繼續提供覆蓋 macOS、Linux、Windows、Android 等平台的預編譯二進位制,包括 Vulkan、CUDA、ROCm、SYCL 等後端,其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 建置被停用。