搜尋 關鍵字 語意 依意思最接近的 16 筆
llama.cpp releases10/21 11:07 AI 評分41
llama.cpp 發布 b11791 建置,Metal 後端修復了 GPU capture 路徑中的記憶體洩漏並清理了相關邏輯(#30890)。該版本同步更新 macOS/iOS、Linux、Android、Windows 各平台預編譯包,macOS Apple Silicon 的 KleidiAI 啟用版與 openEuler 建置仍為 DISABLED。Metal 修復主要影響在 Apple Silicon 上使用 Metal 後端跑本地推理的使用者。
llama.cpp releases10/16 08:14 AI 評分43
llama.cpp 發布 b11683 版本,Vulkan 後端修復了 GPU 可見主機記憶體的相關問題,並減少主機指標匯入失敗時的日誌刷屏。該版本把 MoltenVK 排除在共享記憶體匯入之外,同時因 amdgpu 效能問題,在 AMD 上停用了主機記憶體緩衝區共享。
Hacker News front page10/8 14:18 AI 評分46
一位開發者把 AI Agent 跑在了只有 48MB RAM 的諾基亞 110 功能機上,並已用它自動化了幾個操作。他平時用這部手機來減少螢幕時間,最初嘗試刷入 Android 系統,因記憶體只有 48MB 而失敗,隨後花幾天時間逆向工程,最終讓 AI Agent 在這臺手機上執行。該帖發在 Hacker News 的 Show HN 板塊,目前 15 分、3 條評論,作者未說明所用的是哪個 AI 模型,也沒列出具體自動化了哪些操作。
llama.cpp releases10/6 17:33 AI 評分43
llama.cpp 發布 b11446,Metal 後端修復量化 flash attention 中 threadgroup memory 超額佔用的問題,對應 PR #29340。
Hacker News front page● 精選 10/21 13:43 AI 評分92
Wiz Research 藉助前沿 AI 模型在 PHP 核心引擎中發現多個記憶體安全漏洞,可導致未授權遠端程式碼執行與程序記憶體洩露,CVSS 最高 9.2,PHP 已於 10 月 21 日發布修復補丁。漏洞與上層應用無關,從 PHP 5.4 起近十年發布的每個版本都至少受其中一個影響,團隊已演示對 WordPress、Drupal、Joomla 的未授權 RCE,洩露的記憶體可能包含密碼、令牌、API 金鑰與證書。
llama.cpp releases10/13 09:37 AI 評分41
llama.cpp 發布 b11583,主要改動是在「no cache」路徑下避免圖記憶體的重複分配(#30439),即不使用 prompt 快取時可減少反覆申請與釋放視訊記憶體/記憶體。該版本照例提供 macOS、Linux、Windows、Android 等平台的預編譯包,其中 macOS Apple Silicon 的 KleidiAI 建置和 openEuler 建置本次標記為 DISABLED。
llama.cpp releases10/20 20:00 AI 評分41
llama.cpp 發布 b11757 建置,主要改動是在重新整理傳統記憶體池(legacy memory pool flush)後清理 CUDA graphs,對應提交 #26771,提交資訊標註由 Claude 5.5 輔助。
The Verge AI10/11 11:00 AI 評分43
《The Verge》一名作者開始連載自己日常使用本地 AI 的體驗,此前他一直不願把最私人的資料交給雲端服務。他認為如今在本地執行較強模型已越來越可行,但不確定是否值得為一臺配了大容量、價格不菲記憶體的電腦或筆記本花大錢。文章還提到 Apple 對新款 Mac 桌面機的宣傳。他自認不是 AI 專家,會邊用邊寫。
Simon Willison● 精選 10/6 23:58 AI 評分70
OpenAI 首席戰略官 Kwon 表示,自 Medicare 資料洩露事件以來,OpenAI 已增設額外監控,一旦公司模型以不被允許的方式訪問網際網路,員工可立即介入並叫停訓練。該說法由記者 Victoria Kim 從澳大利亞議會發回報導,屬於對訓練階段安全措施的說明,原文未披露監控的技術細節、觸發條件與生效時間。
llama.cpp releases10/4 12:56 AI 評分37
llama.cpp 發布建置版本 b11390,主要修復了 CUDA 後端在 n_expert 遠大於 n_ubatch 時的 MMQ 記憶體故障(#29941)。
llama.cpp releases10/6 19:32 AI 評分43
llama.cpp 發布 b11451 建置,主要變更是修復 OpenCL 後端在 Adreno GPU 上 xmem GEMM 的越界讀取(OOB read)問題,對應 PR #30041。
llama.cpp releases10/5 14:50 AI 評分42
llama.cpp 發布 b11424 建置版本,修復 Vulkan 後端 Flash Attention 的共享記憶體越界寫問題(#29988)。該版本照例提供 macOS/iOS、Linux、Windows、Android 的預編譯包,涵蓋 Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL、OpenCL 等後端,並附驍龍 CPU/Adreno GPU/Hexagon NPU 的安裝指引。
llama.cpp releases10/12 21:34 AI 評分46
llama.cpp b11576 把無快取注意力路徑的 KV 維度填充到 256,修復了該路徑下 Flash Attention 回退 CPU 的問題。
r/LocalLLaMA top of the day10/3 06:18 AI 評分70
llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體,把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB,262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變,僅分數因 fp32 舍入有差異;有使用者反饋解碼速度約降 10%。
量子位● 精選 10/20 12:50 AI 評分71
記憶張量開源 MemT 1.0 系列記憶原生模型,最大型號 Flash 總引數 288B、啟用 17B,較小的 Nano 為 36B 總參、3B 啟用。兩者分別在選定的 Transformer 模組里加入與原注意力並行的記憶分支,把經驗編碼成可更新的內部矩陣狀態,據稱為記憶原生模型首次做到近 300B 引數規模的工程驗證。在 SWE-bench Verified 的 500 項任務各跑三次中,Nano 三次全成功率由無經驗的 54.00% 升至 62.80%;
Hacker News front page10/5 23:06 AI 評分56
魁北克大學電腦科學教授 Daniel Lemire 提出 ephemeral testing(臨時測試):不直接評估自己寫的程式碼,而是讓 AI agent 在其之上臨時搭建一層或多層應用並測試,用完即棄,再根據失敗情況反推底層程式碼品質。它屬於整合測試,區別在於上層軟體完全是一次性的;API 清晰、不變數穩定、報錯有用的庫能讓 agent 快速產出可執行的東西,隱藏狀態、意外預設值或文件不全的庫則會產出一堆補丁和失敗,這些失敗是底層程式碼的證據而非 agent 的問題。