AISpot

Vx 發布:把 CPU、GPU、NPU 記憶體寫進型別系統的語言

Hacker News front page10/3 18:23官方公告開發工具地端推論開源研究

Vx 是一門面向異構計算的系統程式語言,把 CPU、GPU、NPU 與加速器記憶體納入型別系統,主機執行緒解引用裝置指標會直接編譯報錯。它要求跨記憶體空間顯式呼叫 transfer(),並用機器檔案描述 H100、H200、B200、A100、MI300X、Apple M4 等真實硬體的記憶體層級與互連,編譯期校驗放置是否可行。

你正打算用 Mac Studio 跑本地開源模型,Vx 對 Apple Silicon 統一記憶體與 ANE 的顯式建模,可以作為評估 MLX、llama.cpp 之外另一條推理棧路線的參考。

原標題:Vx – One Language, Every Chip
閱讀原文

評分68 / 62(平均 65,門檻 76)
狀態未入選

相關報導

llama.cpp releases10/3 00:18AI 評分34

llama.cpp b11355 在 32KB 共享記憶體的三星 GPU 上停用 Vulkan 大 matmul tile

llama.cpp 發布 b11355 版:對共享記憶體為 32KB 的三星 GPU,Vulkan 後端停用大型 matmul tile(#28531),該提交由 Claude Op 協助完成。此版本中 macOS Apple Silicon 的 KleidiAI 啟用建置(arm64, KleidiAI enabled)與 openEuler 建置標記為 DISABLED;

llama.cpp releases● 精選10/4 01:37AI 評分63

llama.cpp 為 WebGPU 後端加入 f16 支援

llama.cpp 在 WebGPU 後端為 fill/set_rows 操作加入 f16 支援(PR #29897),併發布 b11382 版本。該版本覆蓋 macOS Apple Silicon、iOS、Linux、Android、Windows 等平台,其中 macOS Apple Silicon 的 KleidiAI 建置被停用。對使用 WebGPU 推理的使用者,f16 支援可減少視訊記憶體佔用並提升相容性。