AISpot
熱點事件 · 持續更新

llama.cpp v0.7.0 發布:MoE 專家快取最高提速 2.2 倍新

2 則報導1 個報導來源 更新

先了解這件事AI 綜述

2026 年 10 月 15 日,llama.cpp 先後發布版本號升至 0.7.0(建置號 b11669)的公告與 v0.7.0 發布說明,預編譯包同步更新,新增 CUDA 13(基於 13.4 庫)與 ROCm 10.0 後端,覆蓋 macOS(Apple Silicon 與 Intel)、Linux、Windows、Android、iOS 與 openEuler,同時保留 CUDA 12(Linux 為 12.8 庫、Windows 為 12.4 DLL)以及 Vulkan、SYCL、OpenVINO 等選項,並提供面向驍龍平台的 Android/Linux arm64 包(CPU、Adreno GPU、Hexagon NPU);其中 macOS Apple Silicon 的 KleidiAI 加速版與 openEuler 條目被標記為 DISABLED。據 v0.7.0 發布說明,本次核心變化是為主機記憶體中的 MoE 專家新增 GPU 快取(--moe-cache-mib),專家由裝置端 LRU 快取執行,在專家被解除安裝時解碼最高提速約 2.2 倍,且該快取可跨多張 GPU 共享。

AI 根據 2 則報導生成 · 更新

報導時間線

沿著報導,了解事件的不同側面;點標題看單篇報導的摘要與原文連結。

10月15日星期四 · 2 則

  1. llama.cpp releases官方● 精選

    llama.cpp v0.7.0 發布:MoE 專家快取最高帶來 2.2 倍解碼提速

    llama.cpp 發布 v0.7.0,最核心的變化是新增主機記憶體 MoE 專家的 GPU 快取(--moe-cache-mib),專家改由裝置端 LRU 快取執行,專家解除安裝時解碼最高提速約 2.2 倍,且該快取可跨多張 GPU 共享。版本同時加入 LiliCorr 投機解碼與 GLM5-Next 的 MTP 投機解碼,並支援 K2 Horizon、Prism Bonsai 2 27B、EmbeddingGemma-2、MiniCPM-V 4.7 等一批新模型。

  2. llama.cpp releases官方

    llama.cpp 發布 0.7.0,預編譯包更新 CUDA 13 與 ROCm 10.0

    llama.cpp 版本號升至 0.7.0,建置號為 b11669。此次發布的預編譯包覆蓋 macOS(Apple Silicon 與 Intel)、Linux、Windows、Android、iOS 及 openEuler,其中新增 CUDA 13(基於 13.4 庫)與 ROCm 10.0 後端,並保留 Vulkan、SYCL、OpenVINO 等選項。

本事件熱度走勢

最高 1.0

為什麼熱

過去 48 小時,有 1 個獨立來源報導,最近 6 小時新增 1 個。熱度 0.9,熱門榜第 27 名。

熱度以 48 小時內的獨立來源計,同一來源只算一次,每 24 小時權重減半。

事件紀錄

最早報導
最近更新

同一事件的報導集中在這裡,新的進展會繼續補充。