AISpot

搜尋

依意思最接近的 16 筆

llama.cpp releasesAI 評分41

llama.cpp 修復 Metal GPU capture 路徑記憶體洩漏

llama.cpp 發布 b11791 建置,Metal 後端修復了 GPU capture 路徑中的記憶體洩漏並清理了相關邏輯(#30890)。該版本同步更新 macOS/iOS、Linux、Android、Windows 各平台預編譯包,macOS Apple Silicon 的 KleidiAI 啟用版與 openEuler 建置仍為 DISABLED。Metal 修復主要影響在 Apple Silicon 上使用 Metal 後端跑本地推理的使用者。

llama.cpp releasesAI 評分43

llama.cpp 修復 Vulkan 主機記憶體問題,AMD 停用記憶體共享

llama.cpp 發布 b11683 版本,Vulkan 後端修復了 GPU 可見主機記憶體的相關問題,並減少主機指標匯入失敗時的日誌刷屏。該版本把 MoltenVK 排除在共享記憶體匯入之外,同時因 amdgpu 效能問題,在 AMD 上停用了主機記憶體緩衝區共享。

Hacker News front pageAI 評分46

逆向工程後,AI Agent 跑在 48MB 記憶體的諾基亞 110 上

一位開發者把 AI Agent 跑在了只有 48MB RAM 的諾基亞 110 功能機上,並已用它自動化了幾個操作。他平時用這部手機來減少螢幕時間,最初嘗試刷入 Android 系統,因記憶體只有 48MB 而失敗,隨後花幾天時間逆向工程,最終讓 AI Agent 在這臺手機上執行。該帖發在 Hacker News 的 Show HN 板塊,目前 15 分、3 條評論,作者未說明所用的是哪個 AI 模型,也沒列出具體自動化了哪些操作。

Hacker News front page● 精選AI 評分92

AI 輔助發現 PHP 核心 RCE 漏洞,十年版本均受影響

Wiz Research 藉助前沿 AI 模型在 PHP 核心引擎中發現多個記憶體安全漏洞,可導致未授權遠端程式碼執行與程序記憶體洩露,CVSS 最高 9.2,PHP 已於 10 月 21 日發布修復補丁。漏洞與上層應用無關,從 PHP 5.4 起近十年發布的每個版本都至少受其中一個影響,團隊已演示對 WordPress、Drupal、Joomla 的未授權 RCE,洩露的記憶體可能包含密碼、令牌、API 金鑰與證書。

llama.cpp releasesAI 評分41

llama.cpp b11583:無快取路徑避免記憶體重複分配

llama.cpp 發布 b11583,主要改動是在「no cache」路徑下避免圖記憶體的重複分配(#30439),即不使用 prompt 快取時可減少反覆申請與釋放視訊記憶體/記憶體。該版本照例提供 macOS、Linux、Windows、Android 等平台的預編譯包,其中 macOS Apple Silicon 的 KleidiAI 建置和 openEuler 建置本次標記為 DISABLED。

The Verge AIAI 評分43

The Verge 作者開啟本地 AI 日常使用連載,權衡隱私與記憶體成本

《The Verge》一名作者開始連載自己日常使用本地 AI 的體驗,此前他一直不願把最私人的資料交給雲端服務。他認為如今在本地執行較強模型已越來越可行,但不確定是否值得為一臺配了大容量、價格不菲記憶體的電腦或筆記本花大錢。文章還提到 Apple 對新款 Mac 桌面機的宣傳。他自認不是 AI 專家,會邊用邊寫。

Simon Willison● 精選AI 評分70

OpenAI 因 Medicare 洩露事件增設訓練緊急叫停監控

OpenAI 首席戰略官 Kwon 表示,自 Medicare 資料洩露事件以來,OpenAI 已增設額外監控,一旦公司模型以不被允許的方式訪問網際網路,員工可立即介入並叫停訓練。該說法由記者 Victoria Kim 從澳大利亞議會發回報導,屬於對訓練階段安全措施的說明,原文未披露監控的技術細節、觸發條件與生效時間。

llama.cpp releasesAI 評分42

llama.cpp 發布 b11424,修復 Vulkan Flash Attention 共享記憶體越界寫

llama.cpp 發布 b11424 建置版本,修復 Vulkan 後端 Flash Attention 的共享記憶體越界寫問題(#29988)。該版本照例提供 macOS/iOS、Linux、Windows、Android 的預編譯包,涵蓋 Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL、OpenCL 等後端,並附驍龍 CPU/Adreno GPU/Hexagon NPU 的安裝指引。

r/LocalLLaMA top of the dayAI 評分70

llama.cpp 新 PR 將 Qwen4 索引器視訊記憶體減半

llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體,把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB,262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變,僅分數因 fp32 舍入有差異;有使用者反饋解碼速度約降 10%。

量子位● 精選AI 評分71

記憶張量開源 MemT 1.0,記憶原生模型最大 288B 引數

記憶張量開源 MemT 1.0 系列記憶原生模型,最大型號 Flash 總引數 288B、啟用 17B,較小的 Nano 為 36B 總參、3B 啟用。兩者分別在選定的 Transformer 模組里加入與原注意力並行的記憶分支,把經驗編碼成可更新的內部矩陣狀態,據稱為記憶原生模型首次做到近 300B 引數規模的工程驗證。在 SWE-bench Verified 的 500 項任務各跑三次中,Nano 三次全成功率由無經驗的 54.00% 升至 62.80%;

Hacker News front pageAI 評分56

學者提出 Ephemeral Testing:用 AI 臨時搭建上層應用檢驗程式碼

魁北克大學電腦科學教授 Daniel Lemire 提出 ephemeral testing(臨時測試):不直接評估自己寫的程式碼,而是讓 AI agent 在其之上臨時搭建一層或多層應用並測試,用完即棄,再根據失敗情況反推底層程式碼品質。它屬於整合測試,區別在於上層軟體完全是一次性的;API 清晰、不變數穩定、報錯有用的庫能讓 agent 快速產出可執行的東西,隱藏狀態、意外預設值或文件不全的庫則會產出一堆補丁和失敗,這些失敗是底層程式碼的證據而非 agent 的問題。