搜尋

Janas-LLM 讓 32GB 筆記本跑 48GB 的 80B MoE 模型，速度快過 llama.cpp

新的 C 語言推理引擎 Janas-LLM 把 MoE 權重留在磁碟、按 token 從 NVMe SSD 流式讀取專家，在 32 GB 記憶體的筆記本上跑起了 48.4 GB 的 Qwen3-Next-80B。