搜尋

gufo 分支讓 Qwen3.6 35B A3B 在 Strix Halo 上跑出 3095tok/s 預填充

開發者 nubela 發布了 gufo 的分支 gufo-Qwen3.6-35B-A3B-Q6dense，在 Strix Halo 上實現 3095 tok/s 預填充和 190 tok/s 解碼，目標是 3000 tok/s 預填充與 150 tok/s 解碼。該分支為追求速度而非智慧的負載設計，作者自行量化了模型並以 Apache 2.0 許可發布，使用 unsloth 的 GGUF 也可執行但效能較低。