AISpot

v0.40.7-rc1 去重 GGML 與 MLX 的 CUDA 執行庫

Ollama releases版本更新地端推論開源

v0.40.7-rc1 把 GGML 與 MLX 兩個後端共用的 CUDA 庫合併進同一個 CUDA payload 目錄,消除重複打包。程序內和子程序載入 MLX 時都會解析這個打包依賴目錄;MLX 私有庫與 JIT 標頭檔案仍保留在 MLX overlay 中。此外補齊 OpenBLAS 的完整 Fortran 執行時依賴閉包,並在發布打包流程中校驗這些依賴。

原標題:v0.40.7-rc1: mlx: deduplicate CUDA runtime payloads (#17956)
閱讀原文

評分18 / 35(平均 26,門檻 60)
狀態未入選

原文

Deduplicate MLX CUDA runtime payloads Move CUDA libraries shared by the GGML and MLX backends into the sibling CUDA payload, and teach in-process and subprocess MLX loading to resolve that packaged dependency directory. Keep MLX-private libraries and JIT headers in the MLX overlay, include the full OpenBLAS Fortran runtime closure, and verify those dependencies in release packaging. address comments

相關報導

Ollama releasesAI 評分42

v0.40.5:MLX 的 Metal 自訂核心移植到 CUDA

v0.40.5 把 MLX 原本為 Metal 寫的自訂核心移植到 CUDA,MLX 推理路徑由此延伸到 NVIDIA GPU。同一版本中,OpenAI 相容層可在 Responses 歷史裡接受自訂工具呼叫,應用端澄清了雲支付報錯提示,文件更新模型推薦並統一措辭。此外還有 MLX 的版本號提升,以及新貢獻者 @willietran 的首次提交。

llama.cpp releasesAI 評分45

llama.cpp b11436 修復 OpenVINO 後端多項 GPU 迴歸

llama.cpp b11436 修復 ggml-openvino 後端的 CI 測試失敗與多項 GPU 迴歸。上游 #29622 給輸入 embedding 圖加入混合 token/embd 分支,後端改為只從計算節點建置 OV 模型,並把同型別連續 DUP 按 CONT 翻譯以避免圖被拆分,修復了 CPU 與 GPU 上首個單 token decode 失敗;

Ollama releasesAI 評分45

MLX v0.40.0-rc1 對齊發布方 tokenizer 語義

MLX 發布 v0.40.0-rc1,核心改動是讓本地 tokenizer 與模型發布方的語義保持一致,涵蓋預分詞階段順序、切分行為、Unicode 邊界、added token 歸一化和 BPE 合併排序,並統一處理空 added token 與空 Metaspace 輸入。同時新增 Go/Python 共享參考用例,直接拉取缺失模型並在出錯時失敗,另加配置優先順序、位元組回退與並行編碼的迴歸測試。