Vx 發布:把 CPU、GPU、NPU 記憶體寫進型別系統的語言
Vx 是一門面向異構計算的系統程式語言,把 CPU、GPU、NPU 與加速器記憶體納入型別系統,主機執行緒解引用裝置指標會直接編譯報錯。它要求跨記憶體空間顯式呼叫 transfer(),並用機器檔案描述 H100、H200、B200、A100、MI300X、Apple M4 等真實硬體的記憶體層級與互連,編譯期校驗放置是否可行。
你正打算用 Mac Studio 跑本地開源模型,Vx 對 Apple Silicon 統一記憶體與 ANE 的顯式建模,可以作為評估 MLX、llama.cpp 之外另一條推理棧路線的參考。
原標題:Vx – One Language, Every Chip
閱讀原文
| 評分 | 68 / 62(平均 65,門檻 76) |
|---|---|
| 狀態 | 未入選 |
相關報導
llama.cpp b11355 在 32KB 共享記憶體的三星 GPU 上停用 Vulkan 大 matmul tile
llama.cpp 發布 b11355 版:對共享記憶體為 32KB 的三星 GPU,Vulkan 後端停用大型 matmul tile(#28531),該提交由 Claude Op 協助完成。此版本中 macOS Apple Silicon 的 KleidiAI 啟用建置(arm64, KleidiAI enabled)與 openEuler 建置標記為 DISABLED;
llama.cpp b11349 加 Vulkan 編譯日誌
llama.cpp 發布 b11349,新增 Vulkan 管線編譯問題的日誌輸出(#29794)。該版本提供 macOS/iOS、Linux、Android、Windows、openEuler 建置產物,涵蓋 Ubuntu x64/arm64/s390x CPU、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO、SYCL FP32/FP16,以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU。
llama.cpp 為 WebGPU 後端加入 f16 支援
llama.cpp 在 WebGPU 後端為 fill/set_rows 操作加入 f16 支援(PR #29897),併發布 b11382 版本。該版本覆蓋 macOS Apple Silicon、iOS、Linux、Android、Windows 等平台,其中 macOS Apple Silicon 的 KleidiAI 建置被停用。對使用 WebGPU 推理的使用者,f16 支援可減少視訊記憶體佔用並提升相容性。
llama.cpp 為 Metal 加入 F16 KV 的 tensor API flash attention 核心
llama.cpp 合併 PR #29570,在 Metal 後端新增基於 tensor API 的 flash attention 核心,支援 F16 KV 快取。同一批提交還補充了 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等形狀的 tensor FA 核心,並支援 attention sinks、ALiBi 與 logit softcap。
llama.cpp 發布 b11370,CUDA 後端將共享專家融合進 MMVQ
llama.cpp 發布建置版本 b11370,CUDA 後端新增將共享專家(shared experts)融合進 MMVQ 的改動(#29184),並修復緩衝區空值檢查、把 stride_col_dst 移入融合引數。