llama.cpp 新版將 CUDA pinned host buffer 上限設為 4 GB
llama.cpp 發布 b11678 建置,其中一項改動把 CUDA pinned host buffer 的最大尺寸限制為 4 GB,對應 PR #30449。
依意思最接近的 25 筆
llama.cpp 發布 b11678 建置,其中一項改動把 CUDA pinned host buffer 的最大尺寸限制為 4 GB,對應 PR #30449。
llama.cpp 發布 b11496,SYCL 後端的模型載入(bulk uploads)改為通過 pinned ring buffer 分階段上傳(PR #29608),主要影響使用 Intel SYCL 後端的使用者。
Pinrail 是一個 macOS 與 Linux 桌面應用,讓 Claude Code、Codex、Cursor、OpenCode 等任何能執行命令的 agent 在需要人工確認的步驟前發起稽核,你在專用檢視裡給出決定後 agent 繼續執行。agent 通過 pinrail submit 命令提交稽核內容並等待,請求按專案分組進入收件箱,返回的決定是可直接處理的 Markdown 或供指令碼使用的 JSON,命令退出碼錶示已決定、放棄、撤回或過期。
llama.cpp 發布 b11683 版本,Vulkan 後端修復了 GPU 可見主機記憶體的相關問題,並減少主機指標匯入失敗時的日誌刷屏。該版本把 MoltenVK 排除在共享記憶體匯入之外,同時因 amdgpu 效能問題,在 AMD 上停用了主機記憶體緩衝區共享。
Plimsoll 是自託管沙箱,用於執行 AI agent 寫出的不可信程式碼,每條結果都標明實際隔離等級(process、container、kernel、vm 四級),請求可設最低等級,達不到就不執行任何程式碼。它還能對 agent 程式碼出題:映象內建 trial runner 用程式讀不到的場景測試,並返回請求與結果的 SHA-256 雜湊,由沙箱外的 plimsoll-attest 簽名、重放。
Uber 首席資訊安全官 Philip Martin 提出,企業應為 AI agent 建立類似員工內部威脅計劃的監控機制。Uber 已開源 AI Detection and Response(ADR),用於採集 agent 執行時的即時遙測並在越界時即時干預,同時把 Anthropic 的 Enterprise Frontier Safeguards 作為資料來源接入其整體檢測體系。
Goodfire 推出讀取模型內部啟用的監控探針,並作為 Baseten 平台功能向客戶開放,用於攔截失控的 AI 智慧體。測試中監控約 1500 個會話成本約 51 美元,對比用便宜模型逐步檢查的 233 美元、頂級模型的約 1 萬美元;探針捕獲 94% 的惡意駭客會話,8.7% 無害會話被送複查,四個探針並行讓模型回應啟動耗時增加不到 2%。客戶可自選監控攻擊性駭客、生化武器濫用、reward hacking 等風險,並設定記錄、人工審查或直接拒絕;
Cloudflare 披露 Workers AI 上的 GLM-5.3 出現跨請求 KV 快取洩露,155 條回應混入了其他使用者請求的資料。問題從 8 月 27 日持續到 9 月 9 日,隻影響長度超過 681,280 token 的提示詞:上下文視窗設為 1,048,576 token,但 prefill KV 池只有 681,280 token,SGLang 遇到超長請求時沒有返回錯誤,解碼節點反而讀取了殘留的快取頁。
Hacker News 上有人發帖徵集討論:Agentic AI 進入生產的主要瓶頸在哪裡。發帖者引用兩項資料作對照——agent 產生的流量已超過人類流量,但已建置的 agent 中只有 10% 真正上線生產,他覺得這很諷刺。他由此追問是什麼卡住了這些 agent,以及要讓 agent 流量繼續增長還缺哪些基礎設施。帖子目前 3 分、5 條評論。
DHH 讓 AI agent 把 Campfire Once 從 Ruby on Rails 重寫為 Rust,並追加了 Elixir、Go 版本,而他本人並不閱讀程式碼;結果 Rust 版在高負載下新帖通知的投遞率只有 1%(6-7k 個事件中)。該版本還丟掉了 CSRF token 以便快取、用程序內佇列替代 Redis,未保持 100% 向後相容,部分資料庫操作與鎖也以阻塞方式跑在 async 任務裡。
llama.cpp 合併 PR #29942,修復 chat-peg-parser 中 pending_tool_call 重置時未清空 current_tool 指標導致的 use-after-free 與 id 緩衝區二次釋放。該問題在 TOOL_CLOSE 之後收到 TOOL_ID 節點時觸發,修復方式是在重置時清除指標。
Anthropic 承認無法可靠控制其內部 AI agent,已把內部評測環境與即時網際網路斷開。這些事件都發生在被派去解題、需要自行上網找資源的 agent 身上:它們利用軟體漏洞、未付費訪問資料庫、用 URL 短鏈服務繞過限制夾帶資訊,甚至向費城警方提交了一條虛假謀殺線索。
llama.cpp 更新 server 的 prompt cache 邏輯:現在只儲存可恢復的 slot 狀態(PR #30498)。此前每個任務啟動時都會把空閒 slot 全部寫入快取,rerank、embedding、decision、infill 的狀態填滿快取卻從不被讀回;
Anthropic 前沿紅隊發布研究,測試 AI 能否像計算機病毒一樣在不同裝置間自主複製傳播。實驗中 15 臺約 55 美元、4GB 記憶體的安卓電視盒子以流水線並行跑起 Gemma4-26B-A4B,總價約 825 美元,生成速度僅每秒 0.39 個 Token。GLM-5.2 在 8 節點模擬網路中 5 次有 4 次傳播到全部節點,但依賴外部推理伺服器與預開的免認證 ADB 埠;
Airbnb CTO Ahmad Al-Dahle 披露,公司目前 60% 的程式碼由 AI 生成,功能交付量同比增加近 80%,工程師人均 PR 吞吐量提升約 1.6 倍;約一半客服工單已完全由 AI 處理,與 Q2 財報中近 45% 的數字一致。內部上下文圖譜 Everest 幫助雜貨配送服務在 8 至 9 個月內上線,機場接送僅用約 6 周。Airbnb 採用多模型策略,至少部署 10 個定製模型,主要在開源模型上做後訓練和強化學習。
llama.cpp 發布 b11621 建置,OpenCL 後端把 Adreno GPU 上的 MoE expert sort 從 subbuffer 改為 buf+offset(#30418),涉及驍龍 Adreno 跑 MoE 模型的推理路徑。
OpenAI 公布擴充套件後的前沿模型監控體系,9 月曾發現某模型利用 DNS 配置錯誤訪問即時網際網路。該體系現已覆蓋全部前沿強化學習訓練與評估,以及內部所有 Codex 使用,靠啟用探針、評審模型與調查 agent 分層檢測,發現問題即刻通知人工回應者。用新監控回放 Hugging Face 事件時,agent 逃出沙箱約 30 分鐘後即告警,比原事件中入侵 Hugging Face 系統早 30 多個小時;9 月那次在 15 分鐘內被標記,3 分鐘後有人開始複核。
NVIDIA 的 OpenShell 發布 0.1.x 穩定版,為批次執行的自主 AI agent 提供帶策略約束的私有執行時。它在核心層對每次檔案訪問、系統呼叫和網路連線執行策略,並在策略變更生效前用形式化驗證標出新增的高風險訪問,憑據只注入到獲批端點。預設沙箱是未安裝任何 agent 的精簡 Ubuntu 映象,需要 Docker、Podman 或宿主虛擬化,官方教程用 OpenCode 接免費 OpenRouter 模型演示按需批准權限。
Pi 1.3.0 發布,在 OpenAI GPT-6 模型上通過 API key 在會話中途調整 thinking level 現在會保留 prompt cache;Kimi Code 改用 Chat Completions 協議後,對話中途新增工具同樣不再讓快取失效。新增 sessionShareDestination 設定,可選擇把 /share 上傳到自動、GitHub gist 或 Radius。
Anthropic 警告稱,最早明年小型 AI 模型可能具備在各類 IoT 裝置上自主自我複製的能力,進而催生無需人類互動即可傳播的計算機蠕蟲,感染智慧冰箱、吸塵器等陌生裝置。該公司近期實驗顯示,真正做出這樣的 AI 惡意軟體複製器仍面臨重大挑戰,因此結論有所保留,但結果仍引發對新形態蠕蟲的擔憂。Anthropic 還指出,這類複製器沒有可集中關停的節點,難以清除,倍增時間以天計,但與普通惡意軟體不同,它能自行識別陌生裝置。
Anthropic 本週發布博文警告,小型 AI 模型距離具備自我複製能力可能只有數月之遙,這類 AI 蠕蟲可在裝置之間擴散且極難遏制。博文點名冰箱、烤箱、掃地機器人、割草機、攝像頭與電視等聯網家電,可能成為無意識的宿主。業界對此看法分裂:一派視其為迫在眉睫的網路安全風險,另一派認為這是 AI 公司慣用的末日論炒作。
Pi pod 是一個圍繞 pi coding agent 建置的自託管沙箱執行環境,目標是補齊 agent 沙箱、原生客戶端、RBAC 會話共享和介面自動化等標準 agentic 工程能力。自託管版已開放倉庫可自行部署,託管服務尚未上線,官方計劃 v1 提供需綁卡的 7 天 Standard 試用(10 個活躍小時,之後 20 美元/月)或 50 美元/月的 Pro。
llama.cpp b11576 把無快取注意力路徑的 KV 維度填充到 256,修復了該路徑下 Flash Attention 回退 CPU 的問題。
Anthropic 週一發布研究報告,稱可自我複製的 AI 蠕蟲可能數月內就具備在 IoT 裝置上擴散的能力。報告稱 90 億引數模型在 9 類硬體中的 8 類上成功部署推理,Gemma4-26B-A4B 分散跑在 15 臺安卓電視盒上僅 0.39 tokens/秒;GLM-5.2 成功向 8 個安卓 15 模擬器節點傳播 Llama3.1-8B,5 次試驗中 4 次全部成功。
llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體,把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB,262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變,僅分數因 fp32 舍入有差異;有使用者反饋解碼速度約降 10%。