搜尋

Kyojin 引擎讓兩臺 300B MoE 模型各跑在單臺 128GB Strix Halo 上

基於 ExLlamaV3 的 Kyojin 引擎在 AMD Strix Halo（gfx1151、ROCm）上讓兩個 300B 級 MoE 模型各裝進一臺 128GB 迷你主機：GLM-5.3-Flash 佔 99.7GB，3.5K 上下文預填充 580 tok/s，解碼 26 到 30 tok/s；MiMo-V2.6-Flash 佔 105GB，解碼最高 44 tok/s（程式碼場景）。