llama.cpp releases官方
llama.cpp CUDA 批次張量讀取改用對映主機記憶體
llama.cpp 合入 PR #31391，CUDA 後端將批次張量讀取改為聚集（gather）到對映主機記憶體：小讀取使用 8 位元組複製，大讀取改用 pinned DMA，descriptor 的 pinned 緩衝區擴大到 128k。實現上增加條件派發、把主機記憶體註冊改為 RAII，並調整張量測試以控制 CI 耗時。該 PR 由 Codex 輔助完成。
熱點事件 · 持續更新
最高 1.0
llama.cpp 新增批次張量複製 API，CUDA 讀取改用對映主機記憶體
2 則報導1 個報導來源 更新
先了解這件事AI 綜述
10 月 30 日，llama.cpp 發布建置 b12002，為 ggml 加入通用批次張量複製 API，並把 llama 的 context io 改為按批次執行裝置張量複製，替代原先逐個張量的裝置複製路徑。新 API 已獲 CUDA 後端支援，會按緩衝區型別分組排程；該版本同時移除舊的非同步 tensor_n 介面、補上空緩衝區鉤子，並修復二維批次張量的識別問題。測試方面，test-backend-tensor 經過重構，用 mock 緩衝區型別驗證鉤子呼叫、逐張量回退，以及 cpy_tensor_n 的全有全無語義。11 月 3 日，llama.cpp 又發布 b12080，合入 PR #31391：CUDA 後端把批次張量讀取聚集到對映主機記憶體，小讀取使用 8 位元組複製，大讀取改用 pinned DMA，descriptor 的 pinned 緩衝區擴大到 128k；實現上增加條件派發、把主機記憶體註冊改為 RAII，並調整張量測試以控制 CI 耗時，提交說明還提到簡化流同步、用 assert 替代返回 false，該 PR 由 Codex 輔助完成。此次改動影響使用 llama.cpp 的開發者與在本地跑模型的使用者，涉及 ggml 批次張量介面和 CUDA 後端的裝置張量讀取路徑。
AI 根據 2 則報導生成 · 更新
報導時間線
沿著報導，了解事件的不同側面；點標題看單篇報導的摘要與原文連結。
11月3日星期二 · 1 則
10月30日星期五 · 1 則
- llama.cpp releases官方
llama.cpp 新增 ggml 批次張量複製 API，並支援 CUDA
llama.cpp 建置 b12002 為 ggml 加入通用批次張量複製 API，並把 llama 的 context io 改為按批次執行裝置張量複製。新 API 已獲 CUDA 後端支援，會按緩衝區型別分組排程，同時移除了舊的非同步 tensor_n 介面並補上空緩衝區鉤子，還修復了二維批次張量的識別問題。測試方面，test-backend-tensor 經過重構，用 mock 緩衝區型別驗證鉤子呼叫、逐張量回退，以及 cpy_tensor_n 的全有全無語義。
本事件熱度走勢
為什麼熱
過去 48 小時，有 0 個獨立來源報導，最近 6 小時新增 0 個。熱度 0.0。
熱度以 48 小時內的獨立來源計，同一來源只算一次，每 24 小時權重減半。
事件紀錄
- 最早報導
- 最近更新
同一事件的報導集中在這裡，新的進展會繼續補充。