llama.cpp 修復 Vulkan 主機記憶體問題,AMD 停用記憶體共享
llama.cpp 發布 b11683 版本,Vulkan 後端修復了 GPU 可見主機記憶體的相關問題,並減少主機指標匯入失敗時的日誌刷屏。該版本把 MoltenVK 排除在共享記憶體匯入之外,同時因 amdgpu 效能問題,在 AMD 上停用了主機記憶體緩衝區共享。
找到 50 筆
llama.cpp 發布 b11683 版本,Vulkan 後端修復了 GPU 可見主機記憶體的相關問題,並減少主機指標匯入失敗時的日誌刷屏。該版本把 MoltenVK 排除在共享記憶體匯入之外,同時因 amdgpu 效能問題,在 AMD 上停用了主機記憶體緩衝區共享。
llama.cpp 發布建置版本 b11390,主要修復了 CUDA 後端在 n_expert 遠大於 n_ubatch 時的 MMQ 記憶體故障(#29941)。
llama.cpp 發布 b11594 建置,其中 Vulkan 後端新增多裝置訪問 GPU 可見主機記憶體的能力,並補上了 Windows 支援。該改動(#29741)還清理了多餘的換行、處理 nullptr 並修正啟用條件。
面壁智慧與 OpenBMB 開源 MiniCPM-V 4.7,其中 35B-A3B 是 MiniCPM-V 系列首個 MoE 模型,約 3G 記憶體就能在 iOS、安卓裝置上流暢執行,iPhone 17 Pro Max 上解碼速度超過每秒 13 個 token。另有實際引數 1.3B 的 1B 版本,主打 OCR、數學與影片理解。
llama.cpp 發布 b11424 建置版本,修復 Vulkan 後端 Flash Attention 的共享記憶體越界寫問題(#29988)。該版本照例提供 macOS/iOS、Linux、Windows、Android 的預編譯包,涵蓋 Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL、OpenCL 等後端,並附驍龍 CPU/Adreno GPU/Hexagon NPU 的安裝指引。
llama.cpp 發布建置 b11693,核心改動是修復 SYCL 後端在 mul_mat、split buffer 和 host pool 中的記憶體錯誤(PR #29889)。該版本同時更新了預編譯產物清單,覆蓋 macOS/iOS、Linux、Windows、Android,包含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO 以及 SYCL FP32/FP16 等後端。
llama.cpp 發布 b11583,主要改動是在「no cache」路徑下避免圖記憶體的重複分配(#30439),即不使用 prompt 快取時可減少反覆申請與釋放視訊記憶體/記憶體。該版本照例提供 macOS、Linux、Windows、Android 等平台的預編譯包,其中 macOS Apple Silicon 的 KleidiAI 建置和 openEuler 建置本次標記為 DISABLED。
llama.cpp 發布 b11446,Metal 後端修復量化 flash attention 中 threadgroup memory 超額佔用的問題,對應 PR #29340。
輝達 RTX Spark N1X 處理器正式上市,首批發售的 Windows 筆記本來自六家廠商,其中微軟 Surface Laptop Ultra 配備 128GB 統一記憶體。這是面向筆記本和小型桌上型電腦的 Arm 架構 SoC,整合 RTX Blackwell 顯示卡,核心數量眾多,主打以統一記憶體執行較大規模的本地 AI 模型,對標蘋果、英特爾、AMD 和高通。目前已有四款機型完成測試,包括華碩的 64GB 版本。
Vx 是一門面向異構計算的系統程式語言,把 CPU、GPU、NPU 與加速器記憶體納入型別系統,主機執行緒解引用裝置指標會直接編譯報錯而非執行時崩潰。它要求跨記憶體空間的資料移動顯式呼叫 transfer(),並用機器檔案描述 H100、H200、B200、A100、MI300X、Apple M4 等真實硬體的記憶體層級與互連,編譯期據此接受或拒絕放置方案。
llama.cpp 合併 PR #28531,在共享記憶體為 32KB 的三星 GPU 上停用 Vulkan 後端的大矩陣乘分塊(large matmul tile),以規避該硬體配置下的問題。該改動由 Claude Opus 輔助完成,並附有建置證明連結。
Intel 公布面向 agentic AI 的資料中心推理 GPU D270,單卡最高 480GB LPDDR5X 記憶體,350W 風冷,不依賴 HBM。晶片面積從圖形與光追管線轉向 32 個 Xe3P 核心和 256 個 XMX 矩陣引擎,用於加速長上下文、多輪 agent 工作流的 prefill 與高併發服務。
Nvidia 宣布自 2026 年 10 月 2 日起,2019 年發布的 Shield TV Pro 立即漲價 100 美元,從 199.99 美元升至 299.99 美元。Nvidia 發言人向 Ars 確認,漲價源於包括記憶體在內的元器件成本在全行業大幅上漲。該裝置搭載 Tegra X1+ 處理器,支援 AI 畫質提升與幾乎全部媒體格式的硬體解碼,非 Pro 版本已停產。
開發者用自研開源推理引擎 TensorSharp,在 RTX 3080 Laptop(16GB 視訊記憶體)+32GB 記憶體+SSD 的普通筆記本上執行 Qwen3.8 Flash Next 176B。做法是量化加 MoE 感知的統一排程,把快取、視訊記憶體、記憶體和 SSD 按專家啟用情況分層協調。對比 Strata:解碼 11.09 對 10.24 tok/s,但整程耗時 16.54 秒對 62.15 秒。
微軟在兩年來的首場線下活動中發布 Surface Laptop Ultra,這是首款搭載 Nvidia RTX Spark SoC 的裝置,起售價 2599 美元,10 月 16 日開始發貨,現已開啟預售。它可選 5120 核或 6144 核 Blackwell GPU,統一記憶體最高 128GB LPDDR5x,依靠統一記憶體分配而非傳統視訊記憶體上限,兼顧本地 AI 開發部署與 3A 遊戲執行。
《The Verge》一名作者開始連載自己日常使用本地 AI 的體驗,此前他一直不願把最私人的資料交給雲端服務。他認為如今在本地執行較強模型已越來越可行,但不確定是否值得為一臺配了大容量、價格不菲記憶體的電腦或筆記本花大錢。文章還提到 Apple 對新款 Mac 桌面機的宣傳。他自認不是 AI 專家,會邊用邊寫。
NVIDIA 宣布 RTX Spark 筆記本將於 10 月 16 日上市,該平台最高提供 128GB 統一記憶體與 1 petaflop AI 算力。為本地 agent 打造的 Nemotron 3.5 Bolt 74B 將在 10 月 15 日發布,採用 74B 引數、9B 啟用的 MoE 架構,以 2-bit 量化裝入 24GB 記憶體。
一位開發者把 AI Agent 跑在了只有 48MB RAM 的諾基亞 110 功能機上,並已用它自動化了幾個操作。他平時用這部手機來減少螢幕時間,最初嘗試刷入 Android 系統,因記憶體只有 48MB 而失敗,隨後花幾天時間逆向工程,最終讓 AI Agent 在這臺手機上執行。該帖發在 Hacker News 的 Show HN 板塊,目前 15 分、3 條評論,作者未說明所用的是哪個 AI 模型,也沒列出具體自動化了哪些操作。
Reddit 的 r/LocalLLaMA 版塊一則帖子被版主以違反第 3 條規則為由刪除,評論區仍在討論 8GB 視訊記憶體加 16GB 記憶體的低配硬體如何跑本地模型。有使用者提到 32GB 記憶體加 12GB 視訊記憶體可執行 LFM2.5,也有人建議 Ling 3.0 tiny 或 Gemma 配合 mmap。另有評論稱專家快取即將進入 llama.cpp,未來或支援從磁碟流式載入專家。
llama.cpp 合併 PR #29990,在 MUSA 後端改用向量版 lightning indexer kernel。原因是 MUSA 架構 21 與 22 的靜態共享記憶體上限為 28 KB,而 tile kernel 需要 33 KB,所以 tile kernel 不用於 MUSA;CUDA 與 ROCm 仍執行合併後的原 kernel,沒有變化。
微軟搭載 Nvidia 晶片的 Surface RTX Spark Dev Box 已開啟預售,定價 5,999 美元,預計 11 月發貨。它採用 Nvidia Arm 架構的 RTX Spark 平台與 128GB 統一記憶體,100 瓦熱設計功耗,機身是兼作散熱器的 3D 列印陽極氧化鋁外殼,外觀類似 Xbox Series X 頂部散熱孔。價格高於 Nvidia 去年推出的 DGX Spark 迷你主機,原文將漲價歸因於記憶體等零部件短缺導致 PC 價格上行。
馬斯克在 X 上發帖表示,中國將在 2028 年生產大量 RAM(記憶體)。該表態沒有給出具體產能數字、涉及廠商或產品細節,也未說明判斷依據。帖子發布於 2026 年 10 月 15 日。
llama.cpp 建置 b11647 的 Vulkan 後端為 AMD 顯示卡最佳化了 f16/bf16 KV cache 的 strided 複製:先把 KV 一次性拷到 scratch,使跨記憶體通道的讀取分散,而不是集中在少數通道上。改動刪掉了專用的反量化 shader,改為複用已有的通用 copy pipeline——f16 分支只需要 strided copy,不需要 dequant;複製按源記憶體順序描述,讓跨步訪問落在順序寫入端。
llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體,把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB,262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變,僅分數因 fp32 舍入有差異;有使用者反饋解碼速度約降 10%。
NVIDIA 宣布 DGX Spark 新增 64GB 統一記憶體版本,10 月 23 日由 Acer、ASUS、Dell、Gigabyte、HP、MSI 發售,起售價 4999 美元。該機型保留 GB10 Grace Blackwell 晶片、DGX OS 與完整 AI 軟體棧,支援最高 1000 億引數模型本地執行;兩臺可通過 ConnectX-7 直連組成 128GB 叢集,支援 2000 億引數模型,官方 Qwen 3.8 27B 測試效能提升至 1.7 倍。
作者搭建了魔獸世界私服 jankcraft.xyz,並開發瀏覽器客戶端,PC 和手機均可免費遊玩。隨後用自訂 MCP 與 agent harness 通過 websocket 控制客戶端,讓 LLM 自動玩遊戲,agent 頁面已上線。本地模型需服務端開啟 CORS,作者自託管的幾個模型可能因用量增長下線;24GB 記憶體可跑 Qwen3.8-27B-GPTQ-W4A16,16GB 記憶體可用 vLLM 跑 Gemma4-e4b-coder。
llama.cpp 建置版本 b11500 發布,主要變更是 hex-mmadd 在融合 bias-add 時不再假設讀寫記憶體對齊(#30133)。
r/LocalLLaMA 使用者集中討論名為 Strata 的推理方案,稱其是專為 Qwen 3.8 Flash Next 打造的 llama.cpp 分支,面向 12GB 以上視訊記憶體的 GPU。使用者實測在 16GB 視訊記憶體、24GB 視訊記憶體及 64GB 記憶體等配置上可執行該開源模型,有人報告解碼約 82 tok/s、60 tok/s 或 1200pp,並稱速度約為 Qwen 3.8 27B 在 llama.cpp 上的兩倍。也有人質疑相關帖子是機器人營銷,討論其是否為炒作。
開發者將 Sparse VideoGen(SVG)用於高解析度影片擴散模型,把注意力頭動態路由到結構化空間或時間稀疏掩碼,以緩解自注意力的二次延遲瓶頸。為在 TPU 上把演算法稀疏轉化為實際加速,團隊最佳化 Splash Attention 核心:跳過空記憶體塊、僅在邊界塊做精確座標掩碼、將 token 記憶體佈局改為時間優先以連續訪問。這些最佳化與硬體塊執行對齊後,1440p 影片生成端到端推理最高提速 1.69 倍。
LM Studio 上線名為 Splash 的實驗性推理後端,使用者可在 Settings > Runtime > Experimental backends 中啟用。官方建議配置為 M3 或更新的 Mac、macOS 26.4 及 36GB 以上記憶體,支援的模型可在應用內搜尋 "incoai" 下載。
llama.cpp 發布 b11528,修復 meta backend 處理主機記憶體 tensor 檢視時的斷言失敗。此前使用 --split-mode tensor 並配合部分 offload 時,KV cache 的 view 會被留在 meta split 中,導致 ggml_backend_meta_get_split_state() 解引用 tensor->buffer->context 崩潰;
新的 C 語言推理引擎 Janas-LLM 把 MoE 權重留在磁碟、按 token 從 NVMe SSD 流式讀取專家,在 32 GB 記憶體的筆記本上跑起了 48.4 GB 的 Qwen3-Next-80B。
NVIDIA 的 Nemotron 3.5 Super VL 已在 LM Studio 上線,可直接在本地下載執行。該模型為 120B 總引數、12B 啟用引數的 MoE 架構,支援視覺輸入與推理,並針對視覺理解和工具呼叫做了訓練。官方提示本地執行約需 70GB 記憶體,模型頁面位於 lmstudio.ai。
llama.cpp 建置 b11567 引入可選的 ggml_backend_sched_realloc_callback,使用者程式碼通過 ggml_backend_sched_set_realloc_callback 註冊後,可在為計算圖預留的緩衝區不足、需要重新分配時收到通知。回撥會報告後端分配方案與圖大小相對上次排程是否發生變化。
微軟在舊金山 Tech Week 活動上公布新款 Surface Laptop Ultra 的規格與售價:兩款基礎型號分別 2600 美元、3700 美元起,選配更大記憶體與儲存後最高 5900 美元,頂配已售罄;同時發布 6000 美元起的 Surface RTX Spark Dev Box 工作站,預裝 VS Code、GitHub Copilot CLI、WSL 與 PowerShell 7。
Ollama 上線 NVIDIA Nemotron 3.5 Bolt 74B-A9B,官方稱其採用原生 2-bit 量化,可壓進 24GB 記憶體,並能與其他應用同時執行。該模型是視覺語言模型(VLM),定位是在本地處理日常 agentic 任務。執行 ollama run nemotron-3.5-bolt 即可拉取執行。
llama.cpp 修復了 ggml conv_1d 在批次輸入下輸出通道與批次維度錯位的問題。conv_1d 背後的 GEMM 把 batch 折進行,結果在記憶體中是 [OL, N, OC],reshape 卻宣告為 [OL, OC, N],形狀正確但內容被轉置,因此不報錯、通道與批次交錯;N==1 時兩種讀法等價,倉庫裡三個 vocoder 都沒觸發。
Meta 發布開源權重模型 Muse Spark Open,擁有 8160 億引數和 100 萬 token 上下文視窗,原生多模態,面向複雜編碼與 agent 任務,並針對 Mac 本地執行設計。本地部署門檻不低,至少需要 1TB 記憶體,Meta 稱在搭載 M5 Ultra 晶片的 Mac Studio 上表現最佳。
Meta 發布開源權重大模型 Muse Spark Open,816B 引數、42B 啟用、1M 上下文,原生多模態,面向程式碼與智慧體任務。該模型與蘋果合作,用 MLX 針對 Apple 晶片統一記憶體架構最佳化,兩臺 512G 的 M5 Ultra Mac Studio 即可本地執行,但兩臺機器售價已超過 4 萬美元。
PS5LM 把 llama.cpp 的 Vulkan 後端搬到越獄 PS5 的 RDNA 2 GPU 上,用 11.4 GB 共享記憶體把主機變成家用模型伺服器,對外提供 OpenAI 與 Anthropic 介面,Claude Code 等客戶端可直接連。實測 Qwen 3.5 9B Q4_K_M 約 55 tokens/秒,27B 的 UD-Q2_K_XL 約 20 tokens/秒、64k 上下文;
PostgreSQL 擴充套件 pg_vectorsearch 以 alpha 版發布,其 PRISM 索引在 1 億向量資料集上同等召回率下比 pgvector 的 HNSW 更快,且記憶體只需四分之一。PRISM 屬 IVF 風格,用層次化質心樹分割槽,配合 RaBitQ 量化與誤差界做兩階段過濾,距離計算針對 AVX2、AVX512、NEON 最佳化,並支援插入、更新、刪除的動態更新。
微軟在舊金山發表會上公布了 Surface Laptop Ultra 的發售細節:搭載 Nvidia RTX Spark Arm 晶片,8 核 CPU、24GB 記憶體、512GB 儲存的配置起售價 2599 美元,10 月 16 日上市,並以內建磁吸 USB-C 充電取代原有的 Surface Connect 介面。面向開發者的 Surface RTX Spark Dev Box 迷你主機已開啟預售,售價 5999 美元,11 月發貨;
AI 實驗室 Third Moment Research 藉助 OpenAI 的 GPT-6 Astra、GPT-6.1 Sol 與 Codex,可同時執行 1 萬個 agent,單次自主研究持續 36–48 小時。Codex 曾定位量化回測瓶頸並部署快取與記憶體打包最佳化,把一年美股訂單級資料的回測從約 3 小時縮短到 3–5 分鐘,回測時間減少 97%。
MLX 今日發布新版本,支援用 RDMA over Thunderbolt 把多臺 Mac Studio 組成叢集:4 臺 M5 Ultra 執行近萬億引數的 Muse Spark Open(816B MoE,NVFP4 精度)解碼超過 36 tokens/s,高於人類平均閱讀速度。單臺 512GB Mac Studio 可跑 Qwen 3.8 27B 與 Mistral Medium 3.5 128B,在 65,536 上下文下分別佔用最多 68GB 和 158GB 記憶體。
有人在 Windows 上用 llama.cpp 的專家流式方案,在單張 RTX 5070 12GB 加 32GB DDR4-2400 記憶體上執行 Qwen3.8-Flash-Next 177B(UD-IQ3_XXS),基準約 11.5 tok/s,日常對話可達 14-15 tok/s。一次長程式設計提示以 10.15 tok/s 生成 4,892 個 token,產出一個可執行的單檔案貪吃蛇遊戲。
llama.cpp 發布 v0.7.0,最核心的變化是新增主機記憶體 MoE 專家的 GPU 快取(--moe-cache-mib),專家改由裝置端 LRU 快取執行,專家解除安裝時解碼最高提速約 2.2 倍,且該快取可跨多張 GPU 共享。版本同時加入 LiliCorr 投機解碼與 GLM5-Next 的 MTP 投機解碼,並支援 K2 Horizon、Prism Bonsai 2 27B、EmbeddingGemma-2、MiniCPM-V 4.7 等一批新模型。
有使用者報告,用 Strata 執行 Qwen3.8 Next 的 IQ3_XXS 權重(接近 80GB),在 DDR4 記憶體加 7900XTX 的慢速平台上穩定達到 45-70 token/s,編碼時因 mtp 有時更高。同一臺機器上經調優的 llama.cpp 最高約 22.5t/s,且該使用者認為品質明顯更好,但不推薦 Q2 權重。12GB 和 16GB 顯示卡使用者有類似結果,DDR5 平台則顯著更快。
Google 讓 Gemini 4 Argon 在 Antigravity 的 /goal 模式下無人值守跑了 11 小時,對約 20.5 萬行、近 800 個原始檔的 google/adk-python 倉庫做跨檔案效能最佳化,最終把長會話的記憶體 session 準備時間縮短約 40%,冷啟動包匯入加快 21%。該 PR 跨 32 個檔案提出 6 項最佳化,經人工評審後僅 2 項合入,4 項被拒。
把 Google 的 EmbeddingGemma 2 嵌入模型改造成語音轉文字模型 Embedding Gemma Transcribe 後,在 8GB 記憶體的基礎款 M3 MacBook Air 上,一小時音訊約 12.6 秒轉完,全程在端側 Neural Engine 執行。工具免費下載,要求 macOS 14+ 與 Apple Silicon,首次啟動下載 715MB 模型;可拖入音訊檔案,或按住右 Option 鍵說話、鬆開即聽寫到任意應用,音訊不離開本機。
llama.cpp 建置 b11529 修復了 ggml 中 ggml_acc 的越界寫漏洞:ggml_acc_impl 將 size_t 偏移量收窄為 int32_t 時未做檢查,超大偏移會截斷成負數,再被符號擴充套件為巨大 size_t 導致邊界斷言失效,可在 dst 緩衝區下方越界寫入。修復方式是在收窄前檢查偏移量,與 ggml_set_impl 中已有檢查保持一致。該版本同時提供 macOS、Linux、Windows、Android 等多平台預編譯包。