llama.cpp releases● 精選AI 評分67
llama.cpp Metal 後端融合 DeepSeek-V4 與 GLM 的 MoE 路由
llama.cpp 的 Metal 後端把 MoE 路由計算融合進單個核心，覆蓋 DeepSeek-V4/V4.1 以及 GLM、DeepSeek-V2/V3.2、Kimi、MiniMax 等 sigmoid 門控模型。
搜尋
依意思最接近的 30 筆
llama.cpp releases● 精選AI 評分70
llama.cpp 的 OpenVINO 後端更新至 2026.4.1 並大幅最佳化 MoE 效能
ggml-openvino 後端更新到 2026.4.1，重點最佳化 Qwen3.5 MoE 推理效能，並新增推理效能分析、預設使用遠端輸出張量、磁碟快取模型直載（cache_only）等能力。在 Arc B390 上以 q4_asym64_all 重量化執行 gemma-4-26B-A4B，pp512 從 66.16 t/s 提升到 1608.73 t/s，tg128 從 25.94 提升到 26.46 t/s，困惑度基本不變。
llama.cpp releasesAI 評分36
llama.cpp 測試修復：MoE 路由選擇不再受後端噪聲干擾
llama.cpp 建置 b11752 的兩項改動都集中在測試程式碼：MoE 路由選擇加入 step 2 的偏置斜坡，讓每個專家擁有獨立的分數區間，使 top-k 只由專家索引決定，避免後端浮點噪聲把 token 路由到不同專家。此前只有 Beam 架構（8 個專家用 2 個、4 組用 2 個）會撞上這個問題，在 M2 Ultra 上 20 個種子有 2 個失敗、logits 相差 4e-3；修復後 160 個種子全部與 CPU 參考值吻合在 4e-7 以內。
llama.cpp releasesAI 評分43
llama.cpp 為 CUDA 加入 384 專家的 Top-K MoE 融合
llama.cpp 發布 b11953 建置版本，CUDA 後端新增針對 384 個專家的 Top-K MoE 融合運算元（#31288），由 Codex 輔助完成，可加速此類稀疏 MoE 模型在 NVIDIA GPU 上的推理。該版本同步放出 macOS、Linux、Windows、Android 等多平台預編譯包，覆蓋 CUDA 12.8/13.4、ROCm 10.0、Vulkan、SYCL、OpenVINO 及驍龍 Adreno/Hexagon 等後端。
llama.cpp releasesAI 評分45
llama.cpp 為 Adreno X1 新增 MxFP4 MoE 核心
llama.cpp 建置 b11702 為高通 Adreno X1 系列 GPU 新增 MxFP4 MoE 的 OpenCL bin kernel（gemm_moe_mxfp4_q8_1_dp4a_ila_ldck），並在 X1E 上啟用 dp4a clc，用於加速驍龍裝置上的 MoE 模型推理。
r/LocalLLaMA top of the dayAI 評分75
兩臺 128GB Strix Halo 迷你主機各跑一個 300B 級 MoE 模型
Kyojin 引擎基於 ExLlamaV3 為 AMD Strix Halo（gfx1151、ROCm）打造，讓 GLM-5.3-Flash 與 MiMo-V2.6-Flash 兩個 300B 級 MoE 模型分別裝進單臺 128GB 迷你主機。實測在 Ryzen AI Max+ 395 上，GLM 預填充 580 tok/s、解碼 26-30 tok/s，MiMo 解碼最高 44 tok/s（程式碼場景）。
機器之心● 精選AI 評分79
港科大與華為提出 BalanceRoute，96 卡解碼吞吐提升約 15%
香港科技大學周子傑團隊與華為 2012 實驗室理論部提出 BalanceRoute，用線上路由緩解 MoE 大模型 PD 分離部署中各解碼組「齊步走」帶來的同步等待。在 96 張昇騰 910C、DeepSeek-V3 671B（W8A8）、8 個解碼單元的主實驗中，採用實際預測器的 BR-H 相比最強基線解碼吞吐提升約 15%，輸出 token 間隔的尾部延遲同時下降，單輪排程耗時中位數 1.20 毫秒、99% 分位 2.77 毫秒。
llama.cpp releases● 精選AI 評分69
llama.cpp b11507 支援 MoE 快取跨多 GPU
llama.cpp 發布 b11507 版本，新增 MoE 快取跨多張 GPU 的支援（PR #30112），可讓混合專家模型在多 GPU 環境下更充分地利用視訊記憶體。該版本同時更新了各平台預編譯產物，覆蓋 macOS Apple Silicon、iOS、Linux（CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO）、Windows、Android 以及 openEuler 等平台。
llama.cpp releasesAI 評分43
llama.cpp CUDA 融合 MoE 門控與 GLU，加速 MMQ 推理
llama.cpp 發布 b11962 建置，在 CUDA 的 MMQ 路徑中把 MoE（MUL_MAT_ID）的 gate/up 投影與 GLU 融合成一個運算元，減少中間結果的視訊記憶體讀寫與運算元呼叫開銷。
Hacker News front pageAI 評分58
Momentic 發布 QA 智慧體 Mo，60 分鐘找出 269 個 bug
Momentic 推出 QA 智慧體 Mo，可自主探索 Web、iOS 與 Android 應用來查詢 bug。在 4 個開源專案、1396 個人工標註 bug 的 60 分鐘限時測試中，Mo 找到 269 個 bug，召回率 19.3%、精確率 84%，單個 bug 成本 2.67 美元；同場 Codex 為 86 個、6.2% 召回，Claude Code 59 個，Devin 27 個。
量子位● 精選AI 評分65
openJiuwen X-Router 首發，實測減少 50%+ Token 消耗
openJiuwen 團隊發布自演進模型路由技術 X-Router，在 PinchBench 全量 147 個任務實測中，靜態路由得分 66.3%、成本 $8.25，相比全量呼叫 Kimi-K2-Thinking 的 71.36%、$11.11，成本降低 44.6%。該技術基於五檔複雜度分檔路由，用本地 Qwen3-0.6B 做程序內分類器，支援端雲分級與 Bandit 自演進，並已接入 WorkSwarm 的 MoA 多模型協同。
Hacker News front page● 精選AI 評分76
Janas-LLM 讓 32GB 筆記本跑 48GB 的 80B MoE 模型，速度快過 llama.cpp
新的 C 語言推理引擎 Janas-LLM 把 MoE 權重留在磁碟、按 token 從 NVMe SSD 流式讀取專家，在 32 GB 記憶體的筆記本上跑起了 48.4 GB 的 Qwen3-Next-80B。
llama.cpp releasesAI 評分50
llama.cpp 最佳化 CUDA 下 MoE 資料佈局，修復 F16 效能回退
llama.cpp 發布 b12144 建置，CUDA 後端把 MoE 資料佈局線性化，以加速 MMQ/MMF 量化矩陣乘，並把 MMQ tile size 最佳化推廣到更多場景，同時修復了 F16 效能回退。
OpenRouter announcements● 精選AI 評分72
OpenRouter 發布 Model Router Benchmarks 對比頁
OpenRouter 於 2026 年 10 月 2 日上線 Model Router Benchmarks 頁面，用品質、速度、成本三個維度對多家模型路由器打分，並給出 0 到 10 的 Router Index 綜合分，預設權重為品質 60%、單任務耗時 20%、成本 20%，使用者可拖動滑塊調整。
llama.cpp releases● 精選AI 評分63
llama.cpp 新增 Clover MoE 模型支援
llama.cpp 建置 b12060 加入 Clover 模型支援，目前覆蓋的是 AR-only 的 Clover MoE。改動包含 GGUF 轉換、模型載入與因果混合注意力實現，複用共享注意力、迴圈狀態、MoE 與 LoRA 等既有元件；轉換指令碼用 filter_tensors 過濾 Clover 張量並統一採用標準 ssm_a 張量名，同時更新 test-llama-archs.cpp 架構測試。
Ollama releasesAI 評分45
v0.40.15 預發布：新增 MiMo V2.6 模型支援
v0.40.15 預發布新增 MiMo V2.6 模型支援。該版本還讓 mlx 在 Linux 上以程序內方式載入隨包附帶的 CUDA 庫，兩項改動均由 dhiltgen 提交。版本於 11 月 3 日 22:52 發布，標註為 Pre-release，僅含 1 個 commit；完整對比範圍為 v0.40.14 至 v0.40.15-rc0，發布頁資產列表顯示 19 項。
TechCrunch AIAI 評分57
研究者發現一支中國 AI agent fleet，疑執行於騰訊、呼叫高德地圖
獨立研究者 10 月 5 日發布初步發現，追蹤到一批並行的 AI agent，疑似執行在騰訊的基礎設施上，目標指向阿里巴巴的高德地圖服務，查詢內容為公園、動物園、醫院等公共場所不同入口的路線。研究者拒絕使用 swarm 一詞，稱應叫 agent fleet：多個 agent 執行同類任務，彼此之間沒有通訊跡象。這些活動是通過監控域名掃描服務 URLquery 的流量發現的，該服務常被 agent 用來載入無法直接訪問的網站並留下記錄；研究仍在進行中。
Ollama releases● 精選AI 評分71
Ollama 上線小米 9B 程式碼模型 MiMo V2.6
Ollama v0.40.15 新增小米 MiMo V2.6，這是面向程式碼與 agent 工作流的 9B 模型，可用 ollama run mimo-v2.6 執行。同版本還加入 AutoTrust 決策模型系列，含 9b、35b 與可讀圖的 27b-vl，能對給定問題返回選項、是/否機率與評分，其中 autotrust-jev 本次已支援 Apple silicon。
llama.cpp releasesAI 評分41
llama.cpp 為 Laguna 模型啟用 MoE amax 重縮放
llama.cpp 發布 b11912 建置，為 Laguna 模型啟用 MoE amax 重縮放，並宣告 Laguna SM 張量支援，主要是針對該模型的推理適配。此次同時更新了各平台預編譯包，覆蓋 macOS Apple Silicon、iOS、Windows 與 Linux 的 CUDA、Vulkan、ROCm、SYCL 等後端，並新增 arm64 CUDA 13 與 Snapdragon NPU 建置。
llama.cpp releasesAI 評分41
llama.cpp 修復 Metal 後端每 token 9 專家 MoE 核心缺失
llama.cpp 建置 b11755 修復了 Metal 後端缺少每 token 9 專家 MoE 核心變體的問題（#30610、#30699），涉及 Apple Silicon 上的 MoE 推理路徑。該版本照例發布全平台預編譯包，覆蓋 macOS/iOS、Linux（CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO）、Android、Windows 及 openEuler 昇騰等後端。
llama.cpp releasesAI 評分34
llama.cpp 修復 TOPK_MOE 測試的 CI 抖動
llama.cpp 建置 b12128 修復了 TOPK_MOE 測試的 CI 抖動。原因是均勻隨機 logits 下兩個 expert 的分數可能只差一個 f32 ulp，在輸出範圍較窄的 sqrt_softplus 門控下尤其常見，後端與 CPU 相差幾個 ulp 就會選中另一個 expert 導致測試失敗。修法是在 host 上用雙精度重取樣，直到組選擇與最終 top-k 都有 1e-4 相對餘量；
llama.cpp releasesAI 評分39
llama.cpp b11621：Adreno 上 MoE expert sort 改用 buf+offset
llama.cpp 發布 b11621 建置，OpenCL 後端把 Adreno GPU 上的 MoE expert sort 從 subbuffer 改為 buf+offset（#30418），涉及驍龍 Adreno 跑 MoE 模型的推理路徑。
機器之心AI 評分48
南芥智慧發布技術報告：Mio 1.0 Lite 九項基準平均分第一、每請求成本最低
南大系初創公司南芥智慧（SinapisAI）發布首份技術報告，其 Mio 1.0 Lite 在九個公開 benchmark 上平均分 77.15/100 排名第一，平均每請求成本 0.06 元為全場最低，比分數最高的對手 GPT 6.1 Sol 高 6.35 分、成本低 94.0%。系統先為模型建立可量化的能力畫像，再結合任務需求與資源預算做模型選擇與協作，底層模型倉庫已收錄 484 個模型，產品平台於 10 月 8 日開啟公測。
機器之心● 精選AI 評分83
KTransformers-FineTune 讓 CPU 直接算 MoE 專家，微調吞吐最高提升 21.2 倍
清華 MADSys 實驗室與趨境科技提出 KTransformers-FineTune（KT-FT），讓 CPU 用主存中的權重直接完成 MoE 專家計算、GPU 只負責注意力，LoRA 微調吞吐達到 ZeRO-Offload 等解除安裝基線的 2.5～21.2 倍。該方案已作為執行後端接入 LlamaFactory，CPU 側用 AVX-512/AMX 指令集計算專家，支援微調與推理在同等硬體下一鍵執行。
llama.cpp releases● 精選AI 評分85
llama.cpp v0.7.0 發布：MoE 專家快取最高帶來 2.2 倍解碼提速
llama.cpp 發布 v0.7.0，最核心的變化是新增主機記憶體 MoE 專家的 GPU 快取（--moe-cache-mib），專家改由裝置端 LRU 快取執行，專家解除安裝時解碼最高提速約 2.2 倍，且該快取可跨多張 GPU 共享。版本同時加入 LiliCorr 投機解碼與 GLM5-Next 的 MTP 投機解碼，並支援 K2 Horizon、Prism Bonsai 2 27B、EmbeddingGemma-2、MiniCPM-V 4.7 等一批新模型。
Latent SpaceAI 評分43
播客：Moshi CEO 談為交易員做市場資訊推薦引擎
AI Engineer 播客最新一期由 swyx 對話 Moshi CEO Anekha Sokhal，主題是她為交易員打造的市場資訊推薦引擎。她把 Moshi 形容為 Bloomberg、Claude 與 Netflix 的結合：行情資料、操作介面，再按交易員的持倉給出定製推薦。她出身 Warwick 數學與統計，在摩根大通做能源衍生品交易，後獲富布賴特獎學金赴美創業。節目還談到可信信源、文件抽取、自建還是採購模型，以及 AI 工程師被要求「你就是整個團隊」的壓力；
llama.cpp releasesAI 評分46
llama.cpp 新版最佳化 Vulkan 上 MoE 重複專家的矩陣乘
llama.cpp 發布 b11554，Vulkan 後端改進了 MoE 推理中 mul_mat_id 對重複專家 id 的處理：不再逐個迴圈，而是在預計算階段統一處理。原本受限的 hoist row ids 最佳化現在預設開啟，會生成緊湊的 tile 描述列表、按需發射多個 tile，從而收緊 workgroup 數量上界，尾部執行緒可直接提前退出。
機器之心● 精選AI 評分70
模思智慧發布全雙工語音系統 MOSS-Live，API 限時免費
模思智慧發布全雙工即時互動系統 MOSS-Live，可在說話的同時持續傾聽，並結合語義判斷何時回應、等待或接受打斷。官方評測中其停頓搶話率為 1.44%，低於 GPT Realtime 2.1 的 3.83% 和 Doubao SeedDuplex 的 14.29%，無關語音誤接話率為 2.00%。系統支援即時影片與螢幕共享、工具呼叫與後臺非同步執行，以及流式同聲傳譯。目前已開放線上體驗與 API 接入，API 限時免費。
llama.cpp releasesAI 評分43
llama.cpp 為 OpenCL 後端新增兩個 MoE dp4a 矩陣乘核心
llama.cpp 建置版本 b11541 在 OpenCL 後端新增兩個 MoE 矩陣乘二進位制核心：kernel_gemm_moe_q4_k_q8_1_dp4a_bin 與 kernel_gemm_moe_q6_k_q8_1_dp4a_bin，分別處理 Q4_K、Q6_K 量化權重搭配 Q8_1 啟用的乘法，並用 dp4a 整數點積指令加速。這類核心主要服務於在 Adreno GPU 等 OpenCL 裝置上執行 MoE 量化模型的場景。
OpenRouter announcements● 精選AI 評分71
OpenRouter 推出 Private Endpoints，企業自有模型部署可走同一 API
OpenRouter 上線 Private Endpoints，企業可把微調模型、專屬部署或預留容量註冊成私有端點，沿用現有 API 與 model slug 呼叫，且僅本組織可見。這是 Enterprise 計劃的附加功能，需帳戶代表開通；組織流量預設優先走私有端點，限流或不可用時按 Provider Selection 與 BYOK 回退設定溢位到公共提供商。