llama.cpp releasesAI 評分41
llama.cpp b11496：SYCL 模型載入改用 pinned ring buffer
llama.cpp 發布 b11496，SYCL 後端的模型載入（bulk uploads）改為通過 pinned ring buffer 分階段上傳（PR #29608），主要影響使用 Intel SYCL 後端的使用者。
搜尋
依意思最接近的 11 筆
Hacker News front pageAI 評分69
Pinrail：讓 coding agent 行動前先提交人工稽核的桌面應用
Pinrail 是一個 macOS 與 Linux 桌面應用，讓 Claude Code、Codex、Cursor、OpenCode 等任何能執行命令的 agent 在需要人工確認的步驟前發起稽核，你在專用檢視裡給出決定後 agent 繼續執行。agent 通過 pinrail submit 命令提交稽核內容並等待，請求按專案分組進入收件箱，返回的決定是可直接處理的 Markdown 或供指令碼使用的 JSON，命令退出碼錶示已決定、放棄、撤回或過期。
llama.cpp releasesAI 評分41
llama.cpp b11456：CUDA 緩衝區初始化改用每執行緒流
llama.cpp 發布建置 b11456，其中 ggml-cuda 在緩衝區初始化的 padding memset 中改用每執行緒 stream（#28782），CI 也重新為 ROCm 啟用 test-backend-ops 的 -j 並行測試。該建置覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，含 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端；
r/LocalLLaMA top of the dayAI 評分70
llama.cpp 新 PR 將 Qwen4 索引器視訊記憶體減半
llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體，把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB，262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變，僅分數因 fp32 舍入有差異；有使用者反饋解碼速度約降 10%。
Hacker News front pageAI 評分74
DHH 讓 AI 重寫的 Rust 版 Campfire 高負載通知投遞率僅 1%
DHH 讓 AI agent 把 Campfire Once 從 Ruby on Rails 重寫為 Rust，並追加了 Elixir、Go 版本，而他本人並不閱讀程式碼；結果 Rust 版在高負載下新帖通知的投遞率只有 1%（6-7k 個事件中）。該版本還丟掉了 CSRF token 以便快取、用程序內佇列替代 Redis，未保持 100% 向後相容，部分資料庫操作與鎖也以阻塞方式跑在 async 任務裡。
llama.cpp releasesAI 評分46
llama.cpp 將無快取注意力的 KV 維度填充到 256，修復 Flash Attention 回退 CPU
llama.cpp b11576 把無快取注意力路徑的 KV 維度填充到 256，修復了該路徑下 Flash Attention 回退 CPU 的問題。
llama.cpp releasesAI 評分45
llama.cpp 為 ggml 後端緩衝區介面新增 alloc_buffer_n
llama.cpp 的 ggml 後端緩衝區型別介面新增 alloc_buffer_n 方法，並公開 API ggml_backend_buft_alloc_buffer_n，同時加入 get_alloc_size_n 與配套測試。預設實現負責多緩衝區拆分與張量分配，Meta 緩衝區型別提供按裝置建立子上下文的自訂實現；cpu、metal、openvino、hexagon、webgpu 等現有後端介面先置為 NULL。
llama.cpp releasesAI 評分45
llama.cpp 修復 Hexagon IM2COL DMA 環形佇列溢位
llama.cpp 建置 b11516 修復了 Hexagon NPU 上 IM2COL patch-embed 的 DMA 環形佇列溢位問題：當 IC*KH 超過 255 時，每執行緒 256 項的 DMA 環寫滿後新描述符被靜默丟棄，導致 VTCM 暫存緩衝的剩餘行未寫入，陳舊資料（常為 NaN/inf）汙染輸出。修復方式是在環滿時淘汰最舊描述符並呼叫 dma_queue_flush() 等待，與同檔案 blocked kernel 的做法一致。
llama.cpp releasesAI 評分43
llama.cpp b11446 修復 Metal 量化 flash attention 執行緒組記憶體超額
llama.cpp 發布 b11446，Metal 後端修復量化 flash attention 中 threadgroup memory 超額佔用的問題，對應 PR #29340。
Hugging Face blog● 精選AI 評分69
Ai2 用 GPU 時間預算替代優先順序排程
Ai2 把原先基於優先順序的 GPU 排程器換成了由 GPU 時間預算、層級化公平分配和時間切片契約組成的新系統。它管理數千塊 NVIDIA H100、B200、B300，叢集規模從 88 到 1024 塊 GPU，服務約 150 名內部研究者，GPU 需求長期是供給的 2 到 3 倍。舊方案導致 GPU 蹲坑佔位、優先順序通脹（最終 100% 工作負載都標為 HIGH）以及值班工程師大量時間用於協商關閉不可搶佔任務。
Hacker News front pageAI 評分18
Spinal 發布：面向任意程式碼庫的近即時預測介面
Spinal 是面向任意程式碼庫的近即時預測介面，演示以 torvalds/linux（148 萬次提交、9.6 萬個檔案）為樣本。它能標出補丁的改動規模與影響範圍：KVM 檢查重複 vcpu_id 的提交 56 天后被回退；mm 移除 is_cow_mapping() 波及 arch、drivers、fs 等 7 個模組，+107/−38；net selftests 新增 380 行手寫程式碼覆蓋 UDP splice 校驗和分片對齊。