Kyojin 引擎讓兩臺 300B MoE 模型各跑在單臺 128GB Strix Halo 上
基於 ExLlamaV3 的 Kyojin 引擎在 AMD Strix Halo(gfx1151、ROCm)上讓兩個 300B 級 MoE 模型各裝進一臺 128GB 迷你主機:GLM-5.3-Flash 佔 99.7GB,3.5K 上下文預填充 580 tok/s,解碼 26 到 30 tok/s;MiMo-V2.6-Flash 佔 105GB,解碼最高 44 tok/s(程式碼場景)。
找到 4 筆;也可以試試 語意搜尋
基於 ExLlamaV3 的 Kyojin 引擎在 AMD Strix Halo(gfx1151、ROCm)上讓兩個 300B 級 MoE 模型各裝進一臺 128GB 迷你主機:GLM-5.3-Flash 佔 99.7GB,3.5K 上下文預填充 580 tok/s,解碼 26 到 30 tok/s;MiMo-V2.6-Flash 佔 105GB,解碼最高 44 tok/s(程式碼場景)。
llama.cpp 發布 b11352 版本,主要改動是最佳化 qwen4exp 的掩碼(mask)建置(#29824),並將同一改動應用到 GLM5-next。該版本繼續提供 macOS Apple Silicon(arm64)、iOS、Linux、Windows、Android 等平台建置,涵蓋 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 與 Snapdragon 後端。
llama.cpp 發布 b11349,新增 Vulkan 管線編譯問題的日誌輸出(#29794)。該版本提供 macOS/iOS、Linux、Android、Windows、openEuler 建置產物,涵蓋 Ubuntu x64/arm64/s390x CPU、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO、SYCL FP32/FP16,以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU。
llama.cpp 發布建置 b11346,本次改動是修復 qwen4exp 的測試(PR #29819)。該版本繼續提供 macOS Apple Silicon(arm64)與 Intel(x64)、iOS XCFramework 預編譯包,Linux 與 Windows 覆蓋 CPU、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO、SYCL 等後端,另有 Android arm64 與 openEuler 版本。