搜尋

依意思最接近的 26 筆

llama.cpp releases10/12 08:53AI 評分42

llama.cpp 新增回撥，推理時可上報計算圖重新分配

llama.cpp 建置 b11567 引入可選的 ggml_backend_sched_realloc_callback，使用者程式碼通過 ggml_backend_sched_set_realloc_callback 註冊後，可在為計算圖預留的緩衝區不足、需要重新分配時收到通知。回撥會報告後端分配方案與圖大小相對上次排程是否發生變化。

地端推論開源 llama.cpp GGML 推理效能記憶體重分配回撥

llama.cpp releases10/3 12:40AI 評分42

llama.cpp 修復圖重分配導致的 GGML_SCHED_NO_REALLOC 中止

llama.cpp 合併 PR #29856，將迴圈狀態改為一次 get_rows 收集，ubatch 狀態與額外狀態都作為其檢視，節點大小隻取決於 n_rs，而 reserve 已將其設為最大值。此前 build_rs 用獨立 get_rows 收集 n_rs - n_seqs 行額外狀態，最壞情況下該節點被設為 0 行，非連續 ubatch 會在節點數不變時觸發圖重分配，進而在 GGML_SCHED_NO_REALLOC 下中止。

地端推論開源 llama.cpp GGML 圖重分配 Mamba 建置發布

1 個來源 · 2 則報導閱讀原文

llama.cpp releases10/13 21:49AI 評分39

llama.cpp b11602：arena 重新分配時重建全部 subgraph

llama.cpp 發布 b11602 建置，核心改動是當 arena 被重新分配時重建全部 subgraph（#30453），同一提交還回退了此前新增的測試用例。

地端推論開源 llama.cpp 本地推理版本發布多平台建置開源

llama.cpp releases10/6 13:10AI 評分45

llama.cpp 修復 NextN 提取引發的排程器重分配報錯

llama.cpp 發布 b11440，修復投機 MTP 解碼中 NextN 提取標誌變化導致的排程器預留失效報錯。啟用 MTP 後，NextN 提取在目標與草稿上下文的排程器已預留之後才開啟；未掩碼提取時主幹圖保留最後一層的全部 token 而非裁剪到輸出行，首次解碼按該批次形狀重分配，下一批更寬的批次就會觸發 GGML_SCHED_DEBUG_REALLOC。修復方式是在標誌變化時作廢預留，讓下一次計算按新圖形狀重新預留，並隨各平台預編譯包發布。

地端推論開源 llama.cpp 本地推理版本更新 NextN MTP

llama.cpp releases10/13 09:37AI 評分41

llama.cpp b11583：無快取路徑避免記憶體重複分配

llama.cpp 發布 b11583，主要改動是在「no cache」路徑下避免圖記憶體的重複分配（#30439），即不使用 prompt 快取時可減少反覆申請與釋放視訊記憶體/記憶體。該版本照例提供 macOS、Linux、Windows、Android 等平台的預編譯包，其中 macOS Apple Silicon 的 KleidiAI 建置和 openEuler 建置本次標記為 DISABLED。

地端推論開源 llama.cpp 本地推理版本發布 graph no cache path

llama.cpp releases10/6 17:33AI 評分43

llama.cpp b11446 修復 Metal 量化 flash attention 執行緒組記憶體超額

llama.cpp 發布 b11446，Metal 後端修復量化 flash attention 中 threadgroup memory 超額佔用的問題，對應 PR #29340。

地端推論開源 llama.cpp Metal 量化 flash attention 版本發布

Hacker News front page10/8 14:18AI 評分46

逆向工程後，AI Agent 跑在 48MB 記憶體的諾基亞 110 上

一位開發者把 AI Agent 跑在了只有 48MB RAM 的諾基亞 110 功能機上，並已用它自動化了幾個操作。他平時用這部手機來減少螢幕時間，最初嘗試刷入 Android 系統，因記憶體只有 48MB 而失敗，隨後花幾天時間逆向工程，最終讓 AI Agent 在這臺手機上執行。該帖發在 Hacker News 的 Show HN 板塊，目前 15 分、3 條評論，作者未說明所用的是哪個 AI 模型，也沒列出具體自動化了哪些操作。

開發工具地端推論 AI Agent Nokia 110 逆向工程嵌入式裝置 Show HN

llama.cpp releases10/5 08:36AI 評分48

llama.cpp 修復 k-pool 模型圖重分配導致的解碼中止

llama.cpp 發布 b11412，修復 k-pool 模型（qwen4exp、glm5-next）解碼時意外重新預留計算圖並中止的問題。原因是兩模型按 cache_safe、n_tokens 等 reserve 無法預知的狀態分支，解碼圖與預留圖節點數不一致（如 7564 對 7762），解碼時被迫按當前狀態重預留、丟掉最壞情況尺寸，在 GGML_SCHED_DEBUG_REALLOC=1 下直接 abort。

開發工具地端推論 llama.cpp k-pool GGML_SCHED_DEBUG_REALLOC 圖重分配 CUDA

1 個來源 · 2 則報導閱讀原文

Hugging Face blog● 精選10/9 15:20AI 評分69

Ai2 用 GPU 時間預算替代優先順序排程

Ai2 把原先基於優先順序的 GPU 排程器換成了由 GPU 時間預算、層級化公平分配和時間切片契約組成的新系統。它管理數千塊 NVIDIA H100、B200、B300，叢集規模從 88 到 1024 塊 GPU，服務約 150 名內部研究者，GPU 需求長期是供給的 2 到 3 倍。舊方案導致 GPU 蹲坑佔位、優先順序通脹（最終 100% 工作負載都標為 HIGH）以及值班工程師大量時間用於協商關閉不可搶佔任務。

研究 GPU 叢集排程公平分配資源分配 NVIDIA H100 Ai2

機器之心● 精選10/8 08:18AI 評分68

港科大等發布首篇自迴歸影片生成 Memory 綜述，110 頁

香港科技大學、香港城市大學、復旦、CMU、NYU、NTU 等機構聯合發布 110 頁綜述《The Past Frames the Future: Memory for Autoregressive Video Generation》，系統梳理自迴歸影片生成中的 Memory 機制。

研究開源自迴歸影片生成 Memory 綜述世界模型長影片生成

Apple Machine Learning Research● 精選10/12 00:00AI 評分69

Minions：聚合閒置 Apple Silicon 的分散式虛擬 GPU 雲

一篇新論文提出 Minions：把多臺 macOS 裝置上閒置的 Apple Silicon GPU 聚合成分散式虛擬 GPU 雲，用來跑大規模機器學習推理。作者認為集中式 GPU 基礎設施成本高、彈性有限、資源緊張時等待時間長，而 Apple Silicon 裝置的 GPU 在日常使用中大多處於空閒狀態。論文稱該方案讓團隊能夠利用現有裝置承載推理負載，具體排程方式與效能資料未在摘要中給出。

研究地端推論 Apple Silicon 分散式推理虛擬 GPU 閒置算力機器學習推理

r/LocalLLaMA top of the day10/2 17:47AI 評分68

Percepta 發布 Spotlight 架構，記憶可無限增長

Percepta 公布新架構 Spotlight，用可讀寫記憶取代注意力機制，宣稱是首個實現記憶無限增長而不增加訪問成本的架構。每個 token 只讀寫少量記憶單元，稀疏度可任意調節，不像 MoE 那樣固定啟用比例。該架構把負責計算的智慧模組與存放知識、流程和狀態的記憶分離，模型權重不隨記憶增長而改變，可自行決定載入與覆寫，從而無需重訓練即可獲得新能力。

研究 Spotlight Percepta 稀疏記憶無限記憶架構

llama.cpp releases10/9 16:01AI 評分43

llama.cpp 修復取樣圖：跨 ubatch 保持靜態，避免重分配建置中斷

llama.cpp 建置 b11530 修正了後端取樣圖的拓撲問題：現在每個 sampler 都建置 n_outputs_max_per_seq 條取樣鏈，使取樣圖在不同 ubatch 之間保持靜態。此前 reserve 階段按每個 sampler 建鏈，而 decode 階段按每行輸出建鏈，圖拓撲因此變化，導致 GGML_SCHED_NO_REALLOC 建置在下一次遇到同尺寸圖時中止。

地端推論開源 llama.cpp GGML 取樣圖 ubatch 版本發布

llama.cpp releases10/2 18:55AI 評分45

llama.cpp 為 ggml 後端緩衝區介面新增 alloc_buffer_n

llama.cpp 的 ggml 後端緩衝區型別介面新增 alloc_buffer_n 方法，並公開 API ggml_backend_buft_alloc_buffer_n，同時加入 get_alloc_size_n 與配套測試。預設實現負責多緩衝區拆分與張量分配，Meta 緩衝區型別提供按裝置建立子上下文的自訂實現；cpu、metal、openvino、hexagon、webgpu 等現有後端介面先置為 NULL。

開源地端推論 llama.cpp ggml 緩衝區分配版本更新

llama.cpp releases10/8 12:41AI 評分40

llama.cpp 發布 b11500，修復 hex-mmadd 融合偏置的讀寫對齊假設

llama.cpp 建置版本 b11500 發布，主要變更是 hex-mmadd 在融合 bias-add 時不再假設讀寫記憶體對齊（#30133）。

地端推論開源 llama.cpp 本地推理 GGML 版本發布跨平台

llama.cpp releases10/11 12:31AI 評分46

llama.cpp 新版最佳化 Vulkan 上 MoE 重複專家的矩陣乘

llama.cpp 發布 b11554，Vulkan 後端改進了 MoE 推理中 mul_mat_id 對重複專家 id 的處理：不再逐個迴圈，而是在預計算階段統一處理。原本受限的 hoist row ids 最佳化現在預設開啟，會生成緊湊的 tile 描述列表、按需發射多個 tile，從而收緊 workgroup 數量上界，尾部執行緒可直接提前退出。

地端推論開源 llama.cpp Vulkan MoE 推理最佳化 b11554

llama.cpp releases10/6 06:18AI 評分47

llama.cpp 修復共享序列 k-pool 資料競爭

llama.cpp 合併 PR #29994，修復 CPU 後端在共享序列（seq_cp）場景下 k-pool 的散射寫入資料競爭：多個共享同一 cell 的序列會從不同 scatter 條目寫同一 rep 行。

地端推論開源 llama.cpp 版本發布資料競爭修復 KV cache CPU 後端

llama.cpp releases10/6 19:32AI 評分43

llama.cpp 發布 b11451，修復 Adreno xmem GEMM 越界讀取

llama.cpp 發布 b11451 建置，主要變更是修復 OpenCL 後端在 Adreno GPU 上 xmem GEMM 的越界讀取（OOB read）問題，對應 PR #30041。

地端推論開源 llama.cpp OpenCL Adreno GEMM 越界讀取

llama.cpp releases10/12 21:34AI 評分46

llama.cpp 將無快取注意力的 KV 維度填充到 256，修復 Flash Attention 回退 CPU

llama.cpp b11576 把無快取注意力路徑的 KV 維度填充到 256，修復了該路徑下 Flash Attention 回退 CPU 的問題。

地端推論開源 llama.cpp KV cache Flash Attention CUDA 本地推理

llama.cpp releases10/5 07:34AI 評分56

llama.cpp 為 SpacemiT X60 補上 Q8_0 IME1 核心

llama.cpp 合併 PR #28479，為 SpacemiT X60 新增 Q8_0 的 IME1 矩陣核心與 repack 路徑。此前該平台 IME 加速只覆蓋 Q4_0/Q4_1/Q4_K，且建置時 GGML_CPU_REPACK=OFF，Q8_0 無加速路徑，prefill 比 Q4_0 慢約十倍。

地端推論開源 llama.cpp Q8_0 IME1 SpacemiT X60 RISC-V

llama.cpp releases10/8 08:51AI 評分42

llama.cpp 為 SYCL 後端加入分組 MoE XMX GEMM

llama.cpp 建置 b11493 為 SYCL 後端新增分組 MoE XMX GEMM 運算元（#29245），面向混合專家模型的矩陣乘加速。該版本同時放出全平台建置產物，覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 組合。

地端推論開源 llama.cpp SYCL MoE GEMM 本地推理

Hacker News front page10/3 17:23AI 評分68

Vx 發布：把 CPU、GPU、NPU 記憶體寫進型別系統的程式語言

Vx 是一門面向異構計算的系統程式語言，把 CPU、GPU、NPU 與加速器記憶體納入型別系統，主機執行緒解引用裝置指標會直接編譯報錯而非執行時崩潰。它要求跨記憶體空間的資料移動顯式呼叫 transfer()，並用機器檔案描述 H100、H200、B200、A100、MI300X、Apple M4 等真實硬體的記憶體層級與互連，編譯期據此接受或拒絕放置方案。

開發工具地端推論 Vx 系統程式語言異構計算型別系統 MLIR

llama.cpp releases10/9 02:57AI 評分43

llama.cpp b11515：SYCL 加入 Q5_K 重排 MMVQ 與融合 GLU

llama.cpp 發布 b11515，主要變更是 SYCL 後端為 Q5_K 量化補上重排佈局的 MMVQ 核心，並加入融合 GLU（#29375），面向 Intel GPU 的量化推理。建置矩陣照舊覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端；

地端推論開源 llama.cpp SYCL 本地推理版本發布

The Verge AI10/11 11:00AI 評分43

The Verge 作者開啟本地 AI 日常使用連載，權衡隱私與記憶體成本

《The Verge》一名作者開始連載自己日常使用本地 AI 的體驗，此前他一直不願把最私人的資料交給雲端服務。他認為如今在本地執行較強模型已越來越可行，但不確定是否值得為一臺配了大容量、價格不菲記憶體的電腦或筆記本花大錢。文章還提到 Apple 對新款 Mac 桌面機的宣傳。他自認不是 AI 專家，會邊用邊寫。

地端推論產品與方案本地 AI 隱私 Mac 大模型硬體成本

llama.cpp releases10/5 07:08AI 評分40

llama.cpp 為 4 頭 lightning indexer 新增 CUDA 分塊核心

llama.cpp 合併 b11405 版本更新，為 lightning indexer 在 CUDA 與 ROCm 後端新增分塊核心，針對 4 頭場景最佳化。新核心將鍵以半精度暫存、查詢逐頭載入，每執行緒負責一個鍵對兩個 token，避免點積的跨執行緒歸約；同時把乘積改為 float 計算以防 half2 溢位，並讓每個鍵元素只擴充套件一次供所有頭使用。ROCm 上內層迴圈展開 8 次，gfx908 僅用 63 個 VGPR 無溢位，R9700 上核心提速 36 倍。

地端推論開源 llama.cpp CUDA ROCm lightning indexer kernel 最佳化

2 個來源 · 4 則報導閱讀原文

機器之心10/10 10:48AI 評分42

OpenAI 將 RSI 列為戰略目標，MemoraX 展示記憶驅動自進化

OpenAI 於 9 月 21 日發布官方戰略宣告，把自動化 AI 研究員與遞迴自我改進（RSI）列為下一階段重要目標，並計劃在 2028 年 3 月前打造真正的自動化 AI 研究員；Anthropic 同期披露，截至 8 月 Claude 已在約 26% 的內部 AI 研發工作中承擔主導角色。

研究產品與方案 RSI Agent 記憶 MemoraX 記憶模型 Codex