搜尋

找到 7 筆

r/LocalLLaMA top of the day10/2 19:47AI 評分59

llama.cpp 新 PR：CUDA 把共享專家融合進 MMVQ

llama.cpp 的 PR #29184 在 CUDA 後端把共享專家融合進 MMVQ，為部分 MoE 架構提速。評論區稱 token 生成速度最多提升約 5%，且只對 Qwen 35B A3B 這類 MoE 架構有效。

MLX releases● 精選4/22 02:43AI 評分74

MLX v0.31.2 發布：支援多執行緒獨立計算與 CUDA FFT

MLX 發布 v0.31.2，現在可用多執行緒執行獨立計算，並新增 CUDA FFT 支援。CUDA 與 Metal 量化 matmul 均獲增強：CUDA 補齊 3/5/6-bit 量化與 GatherQMM，Metal 新增面向小 M 的 split-K。JACCL 成為獨立庫。

地端推論開源MLX CUDA Metal 量化矩陣乘法 FFT

閱讀原文

MLX releases● 精選8/18 04:45AI 評分70

MLX 發布 v0.32.1，修復 Metal 與 CUDA 多項問題

MLX 發布 v0.32.1，以 Metal、CUDA 的修復和效能改進為主，並補齊大量 API 文件。新增統一記憶體零複製匯入 mx.array(host_buffer, copy=False)、Metal gemv_wide 小行數 fp16/bf16 矩陣乘，以及 Metal full attention 的 head dimension 96 支援。

地端推論開源MLX 版本更新 Metal CUDA 開源框架

閱讀原文

MLX releases● 精選7/7 23:29AI 評分71

MLX 發布 v0.32.0，Windows 新增 JIT 編譯支援

MLX v0.32.0 發布。Windows 新增 JIT 編譯器支援，iOS 預設啟用 Metal 後端，CUDA kernel 加入 JIT 快取。mlx.core.linalg 新增行列式與 sign-log-determinant 函式。

開源地端推論MLX CUDA Metal Apple silicon 版本更新

閱讀原文

MLX releases● 精選9/29 01:37AI 評分70

v0.32.3

MLX 發布 v0.32.3，以 bug 修復和 Metal/CUDA 核心最佳化為主。新增 M5 Ultra 非量化 matmul 調優與 Metal gated delta net 核心，並改善 SDPA D256/D512 的 Metal 視訊記憶體佔用。同時修復整數除零崩潰、GGUF 張量維度校驗等問題。

開源地端推論MLX 版本發布 Metal CUDA 開源

閱讀原文

MLX releases● 精選8/25 11:58AI 評分70