The Verge AIAI 評分45
Altman：記憶體放資料中心比放個人電腦更划算
Altman 在播客訪談中回應記憶體短缺問題時稱，從全球資源分配角度看，把記憶體集中在資料中心比分散到個人 PC 更好，儘管很多人期待本地推理能靠開源模型解決。他認為「所有東西都放資料中心」並非必需，但個人裝置承載推理的設想在全球分配層面並不划算。此前他已就 AI 對數學的影響發表看法。
搜尋
依意思最接近的 27 筆
機器之心● 精選AI 評分70
奧特曼：PC 囤記憶體太浪費，本地推理不如集中雲端
奧特曼在 Cheeky Pint 採訪中稱，讓每個人把緊缺的 DRAM 裝進電腦、利用率僅 5% 是「相當糟糕」的全球資源配置，記憶體應集中到雲端資料中心。他認為 AI 熱潮已推高 PC 與手機價格，而記憶體廠商因歷史上過度擴產險些破產、如今擴產保守，「看不見的手」已經失靈；OpenAI 的對策是自研晶片、自建資料中心，乃至用機器人運營晶圓廠的「自我複製的資料中心」。
Hacker News front pageAI 評分54
Altman 稱本地推理浪費 DRAM，OpenAI 自研晶片 Jalapeno
Sam Altman 在 Cheeky Pint 訪談中表示，個人把全球有限的 DRAM 留在自己電腦裡、只使用 5% 的時間，從全球分配角度看相當糟糕，雲端最大化利用率才是解法。他提到 OpenAI 獲准買下全球 40% 的 DRAM 產量，而美光已宣布退出消費級記憶體生產。OpenAI 還在自研代號 Jalapeno 的 AI 晶片，稱該晶片由 AI 為 AI 設計。
Hacker News front pageAI 評分54
Altman 稱 DRAM 應優先供資料中心，本地推理很糟糕
OpenAI CEO Sam Altman 在 YouTube 頻道 Cheeky Pint 的喝酒訪談中稱本地推理“相當糟糕”，認為全球有限的 DRAM 應優先供給資料中心，而不是留在個人電腦裡。他給出的理由是，讓大量 DRAM 分散在家用電腦中、僅被使用約 5% 的時間，從全球資源分配角度看非常不合理。該訪談中並未宣布 OpenAI 的產品或政策變化，討論則集中在本地執行模型與記憶體供應分配。
Hugging Face blog● 精選AI 評分69
Ai2 用 GPU 時間預算替代優先順序排程
Ai2 把原先基於優先順序的 GPU 排程器換成了由 GPU 時間預算、層級化公平分配和時間切片契約組成的新系統。它管理數千塊 NVIDIA H100、B200、B300，叢集規模從 88 到 1024 塊 GPU，服務約 150 名內部研究者，GPU 需求長期是供給的 2 到 3 倍。舊方案導致 GPU 蹲坑佔位、優先順序通脹（最終 100% 工作負載都標為 HIGH）以及值班工程師大量時間用於協商關閉不可搶佔任務。
llama.cpp releasesAI 評分42
llama.cpp 新增回撥，推理時可上報計算圖重新分配
llama.cpp 建置 b11567 引入可選的 ggml_backend_sched_realloc_callback，使用者程式碼通過 ggml_backend_sched_set_realloc_callback 註冊後，可在為計算圖預留的緩衝區不足、需要重新分配時收到通知。回撥會報告後端分配方案與圖大小相對上次排程是否發生變化。
Hacker News front pageAI 評分46
逆向工程後，AI Agent 跑在 48MB 記憶體的諾基亞 110 上
一位開發者把 AI Agent 跑在了只有 48MB RAM 的諾基亞 110 功能機上，並已用它自動化了幾個操作。他平時用這部手機來減少螢幕時間，最初嘗試刷入 Android 系統，因記憶體只有 48MB 而失敗，隨後花幾天時間逆向工程，最終讓 AI Agent 在這臺手機上執行。該帖發在 Hacker News 的 Show HN 板塊，目前 15 分、3 條評論，作者未說明所用的是哪個 AI 模型，也沒列出具體自動化了哪些操作。
llama.cpp releasesAI 評分41
llama.cpp b11583：無快取路徑避免記憶體重複分配
llama.cpp 發布 b11583，主要改動是在「no cache」路徑下避免圖記憶體的重複分配（#30439），即不使用 prompt 快取時可減少反覆申請與釋放視訊記憶體/記憶體。該版本照例提供 macOS、Linux、Windows、Android 等平台的預編譯包，其中 macOS Apple Silicon 的 KleidiAI 建置和 openEuler 建置本次標記為 DISABLED。
llama.cpp releasesAI 評分40
llama.cpp 建置 b11881：記憶體快取統一遵循 no_alloc
llama.cpp 發布建置 b11881，核心改動是讓所有記憶體快取統一遵循 no_alloc 設定。提交中另標註兩項待辦：把 no_alloc 從 llama_hparams 中移出；驗證在 Mac Studio（M2 Ultra、192GB）上用 DeepSeek-V4-Flash-Vision-Exp 的 GGUF 模型完成。
llama.cpp releasesAI 評分39
llama.cpp b11901 將 SYCL 重排臨時記憶體限制在 32 MiB
llama.cpp 發布 b11901 建置，SYCL 後端的重排（reorder）臨時記憶體被限制在 32 MiB（PR #31062）。該版本照例提供各平台預編譯包，包括 macOS Apple Silicon、Linux/Windows 的 CUDA 12.8 與 CUDA 13.4、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU。
量子位AI 評分45
8GB 版 M4 iPad Pro 被曝實裝 12GB 記憶體，仍不滿足新 Siri AI 門檻
拆機照片與記憶體顆粒編號顯示，部分標稱 8GB 的 M4 iPad Pro 主機板上裝的是兩顆 6GB 美光顆粒、合計 12GB，但使用者可用記憶體仍為 8GB。蘋果未解釋原因，外界推測與產品分級和供應鏈成本有關，多出的 4GB 能否啟用尚無確鑿證據。iPadOS 27 的新 Siri 語音、高精度端側聽寫要求 M4 及以上晶片加至少 12GB 統一記憶體，這批使用者因此被卡在門外；而現款 M4 iPad Air 與 M5 iPad Pro 的 256GB/512GB 版本已標配 12GB。
llama.cpp releasesAI 評分43
llama.cpp b11446 修復 Metal 量化 flash attention 執行緒組記憶體超額
llama.cpp 發布 b11446，Metal 後端修復量化 flash attention 中 threadgroup memory 超額佔用的問題，對應 PR #29340。
Hacker News front pageAI 評分74
RTX Spark 筆記本裝上 Arch Linux，116GiB 記憶體池由 CPU 與 CUDA 共用
官方只支援 Windows 的 ASUS ProArt P16（128GB 記憶體版）已被裝上 Arch Linux ARM 並能正常使用。作者基於 NVIDIA 面向 Ubuntu 的核心工作，補齊 ACPI 覆蓋、hid-asus 鍵盤與音訊驅動，做出可啟動映象，並擴充套件 Archinstall 4.5 來安裝硬體支援；7-Zip 單執行緒成績與 Windows 基本持平，20 執行緒壓縮約領先 5%、解壓約領先 3%。
機器之心● 精選AI 評分77
多模態 Agent 記憶基準 WorldMemArena 發布
加州大學聖塔芭芭拉分校、斯坦福等六家機構聯合提出多模態 Agent 記憶評測基準 WorldMemArena，論文已被 NeurIPS 2026 接收。該基準含 400 多項多會話任務、24,258 組問答與 15,595 張影像截圖，把記憶拆成寫入、維護、檢索、使用四個環節來定位失敗原因。初步結果顯示，存得多不等於用得好：M2A 記憶召回率 86.83%，問答正確率僅 50.14%；
llama.cpp releasesAI 評分45
llama.cpp 為 ggml 後端緩衝區介面新增 alloc_buffer_n
llama.cpp 的 ggml 後端緩衝區型別介面新增 alloc_buffer_n 方法，並公開 API ggml_backend_buft_alloc_buffer_n，同時加入 get_alloc_size_n 與配套測試。預設實現負責多緩衝區拆分與張量分配，Meta 緩衝區型別提供按裝置建立子上下文的自訂實現；cpu、metal、openvino、hexagon、webgpu 等現有後端介面先置為 NULL。
Apple Machine Learning Research● 精選AI 評分69
Minions：聚合閒置 Apple Silicon 的分散式虛擬 GPU 雲
一篇新論文提出 Minions：把多臺 macOS 裝置上閒置的 Apple Silicon GPU 聚合成分散式虛擬 GPU 雲，用來跑大規模機器學習推理。作者認為集中式 GPU 基礎設施成本高、彈性有限、資源緊張時等待時間長，而 Apple Silicon 裝置的 GPU 在日常使用中大多處於空閒狀態。論文稱該方案讓團隊能夠利用現有裝置承載推理負載，具體排程方式與效能資料未在摘要中給出。
llama.cpp releases● 精選AI 評分73
llama.cpp 伺服器新增 --models-memory-max，可按記憶體閾值動態解除安裝模型
llama.cpp 伺服器新增 --models-memory-max 引數，當已載入模型超過設定的記憶體上限時自動動態解除安裝。該限制以每臺裝置分別計算的記憶體餘量（margin）形式生效，載入前會把待載入模型的大小計入估算，並用 no_alloc 預估模型載入所需記憶體；只有在記憶體超限且沒有空閒模型可解除安裝時，才拒絕新的載入請求。此次還修正了兩個問題：測量子程序的記憶體統計偏差會使 --fit 下把其他程序佔用算成零，以及排隊載入被閾值阻塞時陷入反覆重試。
llama.cpp releasesAI 評分39
llama.cpp b11602：arena 重新分配時重建全部 subgraph
llama.cpp 發布 b11602 建置，核心改動是當 arena 被重新分配時重建全部 subgraph（#30453），同一提交還回退了此前新增的測試用例。
llama.cpp releasesAI 評分42
llama.cpp 修復圖重分配導致的 GGML_SCHED_NO_REALLOC 中止
llama.cpp 合併 PR #29856，將迴圈狀態改為一次 get_rows 收集，ubatch 狀態與額外狀態都作為其檢視，節點大小隻取決於 n_rs，而 reserve 已將其設為最大值。此前 build_rs 用獨立 get_rows 收集 n_rs - n_seqs 行額外狀態，最壞情況下該節點被設為 0 行，非連續 ubatch 會在節點數不變時觸發圖重分配，進而在 GGML_SCHED_NO_REALLOC 下中止。
量子位● 精選AI 評分71
記憶張量開源 MemT 1.0，記憶原生模型最大 288B 引數
記憶張量開源 MemT 1.0 系列記憶原生模型，最大型號 Flash 總引數 288B、啟用 17B，較小的 Nano 為 36B 總參、3B 啟用。兩者分別在選定的 Transformer 模組里加入與原注意力並行的記憶分支，把經驗編碼成可更新的內部矩陣狀態，據稱為記憶原生模型首次做到近 300B 引數規模的工程驗證。在 SWE-bench Verified 的 500 項任務各跑三次中，Nano 三次全成功率由無經驗的 54.00% 升至 62.80%；
r/LocalLLaMA top of the dayAI 評分43
Strata 搭配 Qwen3.8 Next 在 DDR4 平台跑出 45-70t/s
有使用者報告，用 Strata 執行 Qwen3.8 Next 的 IQ3_XXS 權重（接近 80GB），在 DDR4 記憶體加 7900XTX 的慢速平台上穩定達到 45-70 token/s，編碼時因 mtp 有時更高。同一臺機器上經調優的 llama.cpp 最高約 22.5t/s，且該使用者認為品質明顯更好，但不推薦 Q2 權重。12GB 和 16GB 顯示卡使用者有類似結果，DDR5 平台則顯著更快。
機器之心● 精選AI 評分68
港科大等發布首篇自迴歸影片生成 Memory 綜述，110 頁
香港科技大學、香港城市大學、復旦、CMU、NYU、NTU 等機構聯合發布 110 頁綜述《The Past Frames the Future: Memory for Autoregressive Video Generation》，系統梳理自迴歸影片生成中的 Memory 機制。
llama.cpp releasesAI 評分45
llama.cpp 修復 NextN 提取引發的排程器重分配報錯
llama.cpp 發布 b11440，修復投機 MTP 解碼中 NextN 提取標誌變化導致的排程器預留失效報錯。啟用 MTP 後，NextN 提取在目標與草稿上下文的排程器已預留之後才開啟；未掩碼提取時主幹圖保留最後一層的全部 token 而非裁剪到輸出行，首次解碼按該批次形狀重分配，下一批更寬的批次就會觸發 GGML_SCHED_DEBUG_REALLOC。修復方式是在標誌變化時作廢預留，讓下一次計算按新圖形狀重新預留，並隨各平台預編譯包發布。
llama.cpp releasesAI 評分25
llama.cpp b11896 修復 WebGPU memset 競態
llama.cpp 發布 b11896 建置，核心改動是修復 WebGPU memset 中的競態問題（#31162）。同批預編譯產物仍覆蓋 macOS/iOS（含 Apple Silicon 與 Intel）、Linux（Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL）、Android 與 Windows（含 Snapdragon 的 Adreno GPU 與 Hexagon NPU 路徑），CUDA 12 使用 12.8、CUDA 13…
機器之心● 精選AI 評分76
記憶張量開源首個記憶原生基座模型 MemT 1.0
記憶張量發布並開源 MemT 1.0，稱其為業內首個記憶原生基座模型，歷史資訊被編碼為可更新的內部記憶狀態，隨每輪對話逐 token 更新並可跨會話儲存恢復。兩個版本為 MemT-1.0-Flash（288B 引數、17B 啟用、336M 動態記憶）與 Nano（36B 引數、3B 啟用、10M 動態記憶）。
Hacker News front pageAI 評分68
Vx 發布：把 CPU、GPU、NPU 記憶體寫進型別系統的程式語言
Vx 是一門面向異構計算的系統程式語言，把 CPU、GPU、NPU 與加速器記憶體納入型別系統，主機執行緒解引用裝置指標會直接編譯報錯而非執行時崩潰。它要求跨記憶體空間的資料移動顯式呼叫 transfer()，並用機器檔案描述 H100、H200、B200、A100、MI300X、Apple M4 等真實硬體的記憶體層級與互連，編譯期據此接受或拒絕放置方案。
llama.cpp releasesAI 評分46
llama.cpp 將無快取注意力的 KV 維度填充到 256，修復 Flash Attention 回退 CPU
llama.cpp b11576 把無快取注意力路徑的 KV 維度填充到 256，修復了該路徑下 Flash Attention 回退 CPU 的問題。