機器之心● 精選AI 評分70
奧特曼：PC 囤記憶體太浪費，本地推理不如集中雲端
奧特曼在 Cheeky Pint 採訪中稱，讓每個人把緊缺的 DRAM 裝進電腦、利用率僅 5% 是「相當糟糕」的全球資源配置，記憶體應集中到雲端資料中心。他認為 AI 熱潮已推高 PC 與手機價格，而記憶體廠商因歷史上過度擴產險些破產、如今擴產保守，「看不見的手」已經失靈；OpenAI 的對策是自研晶片、自建資料中心，乃至用機器人運營晶圓廠的「自我複製的資料中心」。
搜尋
依意思最接近的 30 筆
Hacker News front pageAI 評分54
Altman 稱本地推理浪費 DRAM，OpenAI 自研晶片 Jalapeno
Sam Altman 在 Cheeky Pint 訪談中表示，個人把全球有限的 DRAM 留在自己電腦裡、只使用 5% 的時間，從全球分配角度看相當糟糕，雲端最大化利用率才是解法。他提到 OpenAI 獲准買下全球 40% 的 DRAM 產量，而美光已宣布退出消費級記憶體生產。OpenAI 還在自研代號 Jalapeno 的 AI 晶片，稱該晶片由 AI 為 AI 設計。
量子位● 精選AI 評分71
記憶張量開源 MemT 1.0，記憶原生模型最大 288B 引數
記憶張量開源 MemT 1.0 系列記憶原生模型，最大型號 Flash 總引數 288B、啟用 17B，較小的 Nano 為 36B 總參、3B 啟用。兩者分別在選定的 Transformer 模組里加入與原注意力並行的記憶分支，把經驗編碼成可更新的內部矩陣狀態，據稱為記憶原生模型首次做到近 300B 引數規模的工程驗證。在 SWE-bench Verified 的 500 項任務各跑三次中，Nano 三次全成功率由無經驗的 54.00% 升至 62.80%；
機器之心● 精選AI 評分76
記憶張量開源首個記憶原生基座模型 MemT 1.0
記憶張量發布並開源 MemT 1.0，稱其為業內首個記憶原生基座模型，歷史資訊被編碼為可更新的內部記憶狀態，隨每輪對話逐 token 更新並可跨會話儲存恢復。兩個版本為 MemT-1.0-Flash（288B 引數、17B 啟用、336M 動態記憶）與 Nano（36B 引數、3B 啟用、10M 動態記憶）。
Hacker News front pageAI 評分54
Altman 稱 DRAM 應優先供資料中心，本地推理很糟糕
OpenAI CEO Sam Altman 在 YouTube 頻道 Cheeky Pint 的喝酒訪談中稱本地推理“相當糟糕”，認為全球有限的 DRAM 應優先供給資料中心，而不是留在個人電腦裡。他給出的理由是，讓大量 DRAM 分散在家用電腦中、僅被使用約 5% 的時間，從全球資源分配角度看非常不合理。該訪談中並未宣布 OpenAI 的產品或政策變化，討論則集中在本地執行模型與記憶體供應分配。
Hacker News front pageAI 評分35
LayerFS 上線：面向 AI coding agent 的檔案系統
LayerFS 在 Hacker News 上對外亮相，定位為「面向 AI coding agent 的檔案系統」，官網 layerfs.ai 已可訪問。目前公開資訊很少：沒有說明實現方式、適配哪些 coding agent，也沒有價格與開源情況；該帖在 HN 上僅獲 10 分、6 條評論，屬於早期低調發布。
Hugging Face blog● 精選AI 評分69
Ai2 用 GPU 時間預算替代優先順序排程
Ai2 把原先基於優先順序的 GPU 排程器換成了由 GPU 時間預算、層級化公平分配和時間切片契約組成的新系統。它管理數千塊 NVIDIA H100、B200、B300，叢集規模從 88 到 1024 塊 GPU，服務約 150 名內部研究者，GPU 需求長期是供給的 2 到 3 倍。舊方案導致 GPU 蹲坑佔位、優先順序通脹（最終 100% 工作負載都標為 HIGH）以及值班工程師大量時間用於協商關閉不可搶佔任務。
The Verge AIAI 評分45
Altman：記憶體放資料中心比放個人電腦更划算
Altman 在播客訪談中回應記憶體短缺問題時稱，從全球資源分配角度看，把記憶體集中在資料中心比分散到個人 PC 更好，儘管很多人期待本地推理能靠開源模型解決。他認為「所有東西都放資料中心」並非必需，但個人裝置承載推理的設想在全球分配層面並不划算。此前他已就 AI 對數學的影響發表看法。
機器之心● 精選AI 評分77
多模態 Agent 記憶基準 WorldMemArena 發布
加州大學聖塔芭芭拉分校、斯坦福等六家機構聯合提出多模態 Agent 記憶評測基準 WorldMemArena，論文已被 NeurIPS 2026 接收。該基準含 400 多項多會話任務、24,258 組問答與 15,595 張影像截圖，把記憶拆成寫入、維護、檢索、使用四個環節來定位失敗原因。初步結果顯示，存得多不等於用得好：M2A 記憶召回率 86.83%，問答正確率僅 50.14%；
Hacker News front pageAI 評分69
自注意力可存超百萬條記憶：Transformer 記憶容量解讀
這篇博文把線性層、MLP 和自注意力解釋為不同形式的記憶儲存，並估算容量：在 64 維 key 下，線性層約存 64 條記憶，MLP 約 2700 條，自注意力可超過 100 萬條。它用干擾-訊號比衡量召回品質：儲存越多，鍵之間干擾越大，干擾等於訊號時達到容量；鍵正交時召回才精確。文章還指出梯度下降的一步可視為寫入一條 key 為輸入、value 為負梯度乘學習率的記憶，並配有互動式應用展示召回如何失敗。
機器之心● 精選AI 評分79
斯坦福博士部落格：從記憶推匯出 MLP 與自注意力
斯坦福大學計算機博士 Alex Wang 於 10 月 15 日發布部落格，把線性層、MLP 與自注意力統一解釋為不同形式的聯想記憶儲存器，並從記憶之間的干擾出發推匯出這些結構。在 64 維 Key 的隨機記憶實驗中，線性儲存器容量約 64 條，平方 ReLU 的 GLU 式 MLP 約 2700 條，採用固定縮放係數的自注意力理論容量約 120 萬條；1/√d_k 縮放以及 YaRN 等長上下文擴充套件策略也能從干擾角度得到解釋。
r/LocalLLaMA top of the dayAI 評分43
Strata 搭配 Qwen3.8 Next 在 DDR4 平台跑出 45-70t/s
有使用者報告，用 Strata 執行 Qwen3.8 Next 的 IQ3_XXS 權重（接近 80GB），在 DDR4 記憶體加 7900XTX 的慢速平台上穩定達到 45-70 token/s，編碼時因 mtp 有時更高。同一臺機器上經調優的 llama.cpp 最高約 22.5t/s，且該使用者認為品質明顯更好，但不推薦 Q2 權重。12GB 和 16GB 顯示卡使用者有類似結果，DDR5 平台則顯著更快。
Hacker News front pageAI 評分74
Memorilla 用 16 個記憶 token 為凍結 LLM 做記憶
Memorilla 是一種面向凍結 LLM 的記憶系統：它先把文件一次性編碼為可複用的向量，再學習把每次查詢所需的資訊放進模型輸入的嵌入空間，只需 16 個記憶 token。在覆蓋個性化、長文件與知識密集型問答的八個基準中，它在五個上優於 Mem0、MemoRAG 等方案；在 FactKG 上準確率達 84.33%，超過全上下文推理的 80.43%，而表示源文件所用 token 少了 108 倍。
Hacker News front pageAI 評分69
Intel 公布 D270 推理 GPU：480GB 記憶體、350W 風冷
Intel 公布面向 agentic AI 的資料中心推理 GPU D270，單卡最高 480GB LPDDR5X 記憶體，350W 風冷，不依賴 HBM。晶片面積從圖形與光追管線轉向 32 個 Xe3P 核心和 256 個 XMX 矩陣引擎，用於加速長上下文、多輪 agent 工作流的 prefill 與高併發服務。
Hacker News front pageAI 評分68
Vx 發布：把 CPU、GPU、NPU 記憶體寫進型別系統的程式語言
Vx 是一門面向異構計算的系統程式語言，把 CPU、GPU、NPU 與加速器記憶體納入型別系統，主機執行緒解引用裝置指標會直接編譯報錯而非執行時崩潰。它要求跨記憶體空間的資料移動顯式呼叫 transfer()，並用機器檔案描述 H100、H200、B200、A100、MI300X、Apple M4 等真實硬體的記憶體層級與互連，編譯期據此接受或拒絕放置方案。
r/LocalLLaMA top of the dayAI 評分68
Percepta 發布 Spotlight 架構，記憶可無限增長
Percepta 公布新架構 Spotlight，用可讀寫記憶取代注意力機制，宣稱是首個實現記憶無限增長而不增加訪問成本的架構。每個 token 只讀寫少量記憶單元，稀疏度可任意調節，不像 MoE 那樣固定啟用比例。該架構把負責計算的智慧模組與存放知識、流程和狀態的記憶分離，模型權重不隨記憶增長而改變，可自行決定載入與覆寫，從而無需重訓練即可獲得新能力。
機器之心● 精選AI 評分73
NeurIPS 2026：MemSkill 讓智慧體進化記憶技能
南洋理工大學等機構在 NeurIPS 2026 發表 MemSkill，把新增、更新、刪除、跳過等記憶操作封裝為可學習、可複用、可進化的 Memory Skills，並用下游任務反饋最佳化技能選擇、根據失敗案例擴充技能庫。實驗在 LLaMA 與 Qwen 上覆蓋 LoCoMo、LongMemEval 與 ALFWorld，均取得最高 L-J 分數與 ALFWorld 平均成功率，且技能庫可跨模型、跨資料集直接遷移而無需重訓。
llama.cpp releasesAI 評分39
llama.cpp b11901 將 SYCL 重排臨時記憶體限制在 32 MiB
llama.cpp 發布 b11901 建置，SYCL 後端的重排（reorder）臨時記憶體被限制在 32 MiB（PR #31062）。該版本照例提供各平台預編譯包，包括 macOS Apple Silicon、Linux/Windows 的 CUDA 12.8 與 CUDA 13.4、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU。
llama.cpp releases● 精選AI 評分67
llama.cpp SYCL 後端為 IQ3 加持久權重重排，解碼提速最高 82%
llama.cpp 的 SYCL 後端為 IQ3_S/IQ3_XXS 加入持久化權重重排，在 Intel Arc Pro B70 上解碼速度最高提升 82%。權重在載入時只重排一次，MMVQ 點積改用 dp4a 與 SWAR 符號擴充套件遍歷稠密超級塊，重排感知的反量化也接入批次 prefill 的 GEMM。
llama.cpp releasesAI 評分50
llama.cpp b11518 為 Metal 新增 128/96 Flash Attention 核心
llama.cpp 發布 b11518，Metal 後端加入 128 與 96 兩檔 Flash Attention 核心，並接受所有已編譯的維度組合（#30209）。該版本同時提供 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯產物，覆蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、SYCL、OpenVINO 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU；
llama.cpp releasesAI 評分42
llama.cpp 在全部 Apple 平台改用 vm_allocate 分配記憶體
llama.cpp 的 ggml 後端在全部 Apple 平台（macOS Apple Silicon、Intel 與 iOS）把記憶體分配從 posix_memalign 改為 vm_allocate，並讓 test-host-buffer-release 測試預設執行。該改動同時覆蓋 iOS，屬於底層記憶體分配路徑調整，不涉及模型或 API 變化。
r/LocalLLaMA top of the dayAI 評分11
r/LocalLLaMA 熱議 8GB 視訊記憶體跑本地模型的困境
Reddit 的 r/LocalLLaMA 版塊一則帖子被版主以違反第 3 條規則為由刪除，評論區仍在討論 8GB 視訊記憶體加 16GB 記憶體的低配硬體如何跑本地模型。有使用者提到 32GB 記憶體加 12GB 視訊記憶體可執行 LFM2.5，也有人建議 Ling 3.0 tiny 或 Gemma 配合 mmap。另有評論稱專家快取即將進入 llama.cpp，未來或支援從磁碟流式載入專家。
X @OpenAIDevsAI 評分46
@OpenAIDevs: We reserved broad replication for small, critical datasets like authentication metadata needed on e…
OpenAI Devs 表示，團隊用 Rust 重寫服務層，降低了代理開銷。對認證後設資料這類每個請求都必需的小型關鍵資料集，團隊保留了廣泛複製；設定和應用狀態等高頻訪問資料則由區域內快取提供。推文列出這三項基礎設施最佳化，但未給出延遲、吞吐等具體數字或生效範圍。
量子位AI 評分58
openJiuwen AgentMemory 上線 OmniMem-Lens，長影片召回精度最高升 45.7%
openJiuwen AgentMemory 0.2.0 上線多模態記憶能力 OmniMem-Lens，用視覺畫面與 ASR 語音雙流交叉對焦，把長影片切在真實事件邊界上並分層儲存，替代按固定時間視窗盲切。L1/L2 記憶單元已文字化、向量化，可接入主流向量資料庫；記憶離線建好，線上按語義匹配 L1/L2，僅在需要視覺核驗時調取 L0 原始幀。
llama.cpp releasesAI 評分58
b11902: sycl: add set_tensor_2d for faster tensor-split loading (#30358)
llama.cpp 的 SYCL 後端新增 set_tensor_2d：當目標行連續時，它把主機資料打包成最大 64 MiB 的塊上傳，避免逐行呼叫複製。在兩張 Arc Pro B70 上跑 gpt-oss-120b UD-Q4_K_XL，llama-perplexity 總耗時從 263–268 秒降到 114–115 秒。實現複用 pinned staging 槽位，讓 CPU 打包與裝置複製重疊，只在複用槽位時等待；
llama.cpp releasesAI 評分42
llama.cpp 最佳化 lightning indexer 視訊記憶體與多後端支援
llama.cpp 合併多項改動，將 indexer 分數視訊記憶體佔用減半：原先同時存在兩個 [n_pool, n_idx_h, n_tokens] f32 張量，現改為逐頭計算並原地累加為單個 [n_pool, n_tokens] 分數。同時 CUDA 支援 4 頭、Metal 以函式常量讀取頭數、Vulkan 按 64 鍵×8 token 分塊並改用 fp16 點積，indexer 改為呼叫 ggml_lightning_indexer 且鍵只讀一次。
Hacker News front pageAI 評分51
Simantic 推出韌體模擬層，讓 AI agent 無硬體測試韌體
YC F26 的 Simantic 發布韌體模擬層，讓 AI agent 與工程師不必拿到硬體就能測試和驗證韌體。它提供可單次 API 呼叫即執行的虛擬開發板、以模擬結果為證據的韌體 AI 程式碼審查，以及每次提交都針對模擬微控制器驗證韌體的 CI/CD 流水線。團隊來自 Neuralink 與 Tesla，早期 MVP 封裝 Renode，因受制於其開發速度、Dotnet 效能與功能臃腫而改為自研引擎。
r/LocalLLaMA top of the dayAI 評分42
專用推理引擎興起，放棄通用性換極致效能
近期出現一批極窄用途的推理執行時，包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性，只針對少數模型甚至單一硬體家族（如 Strix Halo）做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態，並有助於智慧的民主化與去中心化，讓現有硬體在特定配置下榨出最大輸出。
llama.cpp releasesAI 評分56
llama.cpp 為 SpacemiT X60 補上 Q8_0 IME1 核心
llama.cpp 合併 PR #28479，為 SpacemiT X60 新增 Q8_0 的 IME1 矩陣核心與 repack 路徑。此前該平台 IME 加速只覆蓋 Q4_0/Q4_1/Q4_K，且建置時 GGML_CPU_REPACK=OFF，Q8_0 無加速路徑，prefill 比 Q4_0 慢約十倍。
llama.cpp releasesAI 評分41
llama.cpp b11583：無快取路徑避免記憶體重複分配
llama.cpp 發布 b11583，主要改動是在「no cache」路徑下避免圖記憶體的重複分配（#30439），即不使用 prompt 快取時可減少反覆申請與釋放視訊記憶體/記憶體。該版本照例提供 macOS、Linux、Windows、Android 等平台的預編譯包，其中 macOS Apple Silicon 的 KleidiAI 建置和 openEuler 建置本次標記為 DISABLED。