r/LocalLLaMA 熱議 8GB 視訊記憶體跑本地模型的困境
Reddit 的 r/LocalLLaMA 版塊一則帖子被版主以違反第 3 條規則為由刪除,評論區仍在討論 8GB 視訊記憶體加 16GB 記憶體的低配硬體如何跑本地模型。有使用者提到 32GB 記憶體加 12GB 視訊記憶體可執行 LFM2.5,也有人建議 Ling 3.0 tiny 或 Gemma 配合 mmap。另有評論稱專家快取即將進入 llama.cpp,未來或支援從磁碟流式載入專家。
依意思最接近的 28 筆
Reddit 的 r/LocalLLaMA 版塊一則帖子被版主以違反第 3 條規則為由刪除,評論區仍在討論 8GB 視訊記憶體加 16GB 記憶體的低配硬體如何跑本地模型。有使用者提到 32GB 記憶體加 12GB 視訊記憶體可執行 LFM2.5,也有人建議 Ling 3.0 tiny 或 Gemma 配合 mmap。另有評論稱專家快取即將進入 llama.cpp,未來或支援從磁碟流式載入專家。
一位開發者把 AI Agent 跑在了只有 48MB RAM 的諾基亞 110 功能機上,並已用它自動化了幾個操作。他平時用這部手機來減少螢幕時間,最初嘗試刷入 Android 系統,因記憶體只有 48MB 而失敗,隨後花幾天時間逆向工程,最終讓 AI Agent 在這臺手機上執行。該帖發在 Hacker News 的 Show HN 板塊,目前 15 分、3 條評論,作者未說明所用的是哪個 AI 模型,也沒列出具體自動化了哪些操作。
Intel 公布面向 agentic AI 的資料中心推理 GPU D270,單卡最高 480GB LPDDR5X 記憶體,350W 風冷,不依賴 HBM。晶片面積從圖形與光追管線轉向 32 個 Xe3P 核心和 256 個 XMX 矩陣引擎,用於加速長上下文、多輪 agent 工作流的 prefill 與高併發服務。
記憶張量開源 MemT 1.0 系列記憶原生模型,最大型號 Flash 總引數 288B、啟用 17B,較小的 Nano 為 36B 總參、3B 啟用。兩者分別在選定的 Transformer 模組里加入與原注意力並行的記憶分支,把經驗編碼成可更新的內部矩陣狀態,據稱為記憶原生模型首次做到近 300B 引數規模的工程驗證。在 SWE-bench Verified 的 500 項任務各跑三次中,Nano 三次全成功率由無經驗的 54.00% 升至 62.80%;
輝達 RTX Spark N1X 處理器正式上市,首批發售的 Windows 筆記本來自六家廠商,其中微軟 Surface Laptop Ultra 配備 128GB 統一記憶體。這是面向筆記本和小型桌上型電腦的 Arm 架構 SoC,整合 RTX Blackwell 顯示卡,核心數量眾多,主打以統一記憶體執行較大規模的本地 AI 模型,對標蘋果、英特爾、AMD 和高通。目前已有四款機型完成測試,包括華碩的 64GB 版本。
VentureBeat Intelligence 在 2026 年 7 至 9 月的三輪調研(385 名受訪者)顯示,79% 的企業表示其 GPU 至少一半時間完全閒置,這一比例三個月穩定在 77% 至 81%。但在這批企業中,70% 仍計劃未來 12 個月引入、擴充或更換 AI 計算平台;計劃採用新平台的受訪者中有 91% 拿不出經財務部門稽核的 ROI 資料。新採購意向中 90% 投向公有云與模型 API,僅 8% 考慮擴建本地私有叢集。
NVIDIA 宣布 DGX Spark 新增 64GB 統一記憶體版本,10 月 23 日由 Acer、ASUS、Dell、Gigabyte、HP、MSI 發售,起售價 4999 美元。該機型保留 GB10 Grace Blackwell 晶片、DGX OS 與完整 AI 軟體棧,支援最高 1000 億引數模型本地執行;兩臺可通過 ConnectX-7 直連組成 128GB 叢集,支援 2000 億引數模型,官方 Qwen 3.8 27B 測試效能提升至 1.7 倍。
蘋果發布新款 14 英寸 MacBook Pro,首發搭載 M6 晶片,採用 12 核 CPU、12 核 GPU(每顆核心帶 Neural Accelerator)和雙 16 核神經網路引擎。官方稱其圖形效能較 M5 提升最多 30%,端側 AI 負載提升最多 25%,神經網路引擎提升最多 1.9 倍;LLM 首 token 處理速度比 M1 機型快最多 13 倍、比 M5 機型快 1.3 倍。
蘋果發布 14 英寸 MacBook Pro,首發搭載 M6 晶片,主打端側 AI 效能。M6 為 12 核 CPU 配 12 核 GPU,每顆 GPU 核心內建神經加速器,另有雙 16 核神經引擎;官方稱圖形效能較 M5 提升最多 30%、AI 負載提升 25%,神經引擎提升最多 1.9 倍。LLM 首 token 處理比 M1 機型快最多 13 倍、比 M5 快 1.3 倍;
由 Ericsson、AstraZeneca、Saab、SEB 等組成的瑞典聯合體啟用 Sferical One 超算,執行在兩套 NVIDIA DGX SuperPOD 上,共 16 機架 DGX GB300 系統、1152 塊 GPU,並將基於 Nemotron 開源模型建置服務。北歐正成為歐洲增長最快的基礎設施樞紐,AI 雲預計到 2027 年底在該地區部署 1 吉瓦容量,Bitdeer、CoreWeave、Nscale 等均在列。
官方只支援 Windows 的 ASUS ProArt P16(128GB 記憶體版)已被裝上 Arch Linux ARM 並能正常使用。作者基於 NVIDIA 面向 Ubuntu 的核心工作,補齊 ACPI 覆蓋、hid-asus 鍵盤與音訊驅動,做出可啟動映象,並擴充套件 Archinstall 4.5 來安裝硬體支援;7-Zip 單執行緒成績與 Windows 基本持平,20 執行緒壓縮約領先 5%、解壓約領先 3%。
蘋果發布新款 iPad mini,搭載 2nm 工藝 A20 Pro,官方稱 AI 效能較上代最高提升 4.5 倍,可用於執行本地大模型。512GB 版本配備雙 16 核神經網路引擎、合計 32 核,統一記憶體頻寬提升逾 2 倍,GPU 每顆核心內建神經加速器。
《The Verge》一名作者開始連載自己日常使用本地 AI 的體驗,此前他一直不願把最私人的資料交給雲端服務。他認為如今在本地執行較強模型已越來越可行,但不確定是否值得為一臺配了大容量、價格不菲記憶體的電腦或筆記本花大錢。文章還提到 Apple 對新款 Mac 桌面機的宣傳。他自認不是 AI 專家,會邊用邊寫。
搭載 Blackwell RTX GPU 與 Grace CPU 的 RTX Spark 筆記本已正式開售,起售價 2399 美元,最高提供 128GB 統一記憶體與 1 petaflop AI 算力。華碩、戴爾、惠普、聯想、微軟、微星首批出貨,主打在輕薄 Windows PC 上本地執行 AI、內容創作與遊戲,官方稱還有更多機型在路上。
輝達援引 SemiAnalysis AgentX 資料稱,Vera Rubin NVL72 每兆瓦吞吐量超過 GB300 NVL72 的 30 倍,在 DeepSeek V4 Pro 上每百萬 token 成本最多低 45 倍。輝達以「高產、耐用、通用」概括 AI 工廠回報邏輯:每兆瓦 token 數決定收益,A100 出貨六年後仍在商用,CoreWeave 已將 2020 年首批裝置的預訂延長至 2029 年。
llama.cpp 發布 b11901 建置,SYCL 後端的重排(reorder)臨時記憶體被限制在 32 MiB(PR #31062)。該版本照例提供各平台預編譯包,包括 macOS Apple Silicon、Linux/Windows 的 CUDA 12.8 與 CUDA 13.4、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16,以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU。
Ai2 把原先基於優先順序的 GPU 排程器換成了由 GPU 時間預算、層級化公平分配和時間切片契約組成的新系統。它管理數千塊 NVIDIA H100、B200、B300,叢集規模從 88 到 1024 塊 GPU,服務約 150 名內部研究者,GPU 需求長期是供給的 2 到 3 倍。舊方案導致 GPU 蹲坑佔位、優先順序通脹(最終 100% 工作負載都標為 HIGH)以及值班工程師大量時間用於協商關閉不可搶佔任務。
NVIDIA 在 GTC 柏林公布本地 AI 硬體全線進展:DGX Spark 64GB 將於 10 月 23 日由合作伙伴開售,最多八臺組成叢集、合計 1TB 統一記憶體。DGX Station for Windows 定於 12 月推出,支援製造業應用與 agent harness;Linux 版 DGX Station 以 748GB 一致記憶體服務 30 名以上使用者。
面壁智慧與 OpenBMB 開源 MiniCPM-V 4.7,其中 35B-A3B 是 MiniCPM-V 系列首個 MoE 模型,約 3G 記憶體就能在 iOS、安卓裝置上流暢執行,iPhone 17 Pro Max 上解碼速度超過每秒 13 個 token。另有實際引數 1.3B 的 1B 版本,主打 OCR、數學與影片理解。
Anthropic 前沿紅隊發布研究,測試 AI 能否像計算機病毒一樣在不同裝置間自主複製傳播。實驗中 15 臺約 55 美元、4GB 記憶體的安卓電視盒子以流水線並行跑起 Gemma4-26B-A4B,總價約 825 美元,生成速度僅每秒 0.39 個 Token。GLM-5.2 在 8 節點模擬網路中 5 次有 4 次傳播到全部節點,但依賴外部推理伺服器與預開的免認證 ADB 埠;
免費開源的離線 AI 助手 Survival LLM 發布,AI 模型與應急資料庫都裝在本地,聯網完成設定後即可斷網使用,提問不會離開電腦。它會按電腦記憶體自動選擇模型,從 128GB 記憶體 Mac 上的 Nemotron 3.5 Super(80GB 下載)到 16–31GB 機型的 IBM Granite 4.2 8B(6GB)。
2026 年 10 月 12 日,銘芯啟睿宣布完成首代高密度、大容量 RRAM 晶片“泰山一號”流片,採用 28nm CMOS 工藝與 1T4R 單元結構,單晶片容量 1Gb,密度 30Mb/mm²,訪問延時小於 20ns,並整合片上硬體糾錯電路。該路線讓一個選擇電晶體對應四個阻變儲存單元,以降低每單元電晶體面積開銷,被稱為國際首款高密度大容量 1T4R 1Gb RRAM 晶片。目前該晶片已完成流片,正在推進驗證。
Google DeepMind 宣布,為推進基於 Gemini 4 Argon 的更多研究,將向 10,000 名科學家免費開放 Google Antigravity 的最高使用額度,為期 6 個月。公告給出了名額數量與免費時長,並附上了解詳情的連結,但未說明申請條件、資格範圍與額度上限等細節。
馬斯克在 X 上發帖表示,中國將在 2028 年生產大量 RAM(記憶體)。該表態沒有給出具體產能數字、涉及廠商或產品細節,也未說明判斷依據。帖子發布於 2026 年 10 月 15 日。
General Compute 完成 1 億美元 A 輪融資,由 Blackbird Ventures 與 Abstract Ventures 領投,投後估值 8 億美元,而 5 月種子輪後估值僅 6000 萬美元。這家 neocloud 不買 GPU,改用 SambaNova、Cerebras、Positron 的專用推理晶片搭雲,已靠一份年經常性收入 1 億美元的客戶合同鋪路,並與 SambaNova 簽下 4 億美元晶片採購。
llama.cpp 合併 PR #28531,在共享記憶體為 32KB 的三星 GPU 上停用 Vulkan 後端的大矩陣乘分塊(large matmul tile),以規避該硬體配置下的問題。該改動由 Claude Opus 輔助完成,並附有建置證明連結。
銘芯啟睿(MemSilicon)10 月 12 日宣布完成國際首款 1T4R 結構的 1Gb RRAM 晶片「泰山一號」流片,採用 28nm CMOS 工藝。該晶片密度達 30Mb/mm²,訪問延時小於 20ns,並整合片上硬體糾錯電路,目前正在推進驗證。公司另佈局嵌入式 RRAM IP 與 RRAM+DRAM 混合存算兩條產品線,面向顯示驅動、MCU 及端側推理等場景。
Cerebras 聯合創始人兼 CEO Andrew Feldman 在 TechCrunch Disrupt 2026 上稱,人人家裡都有一臺 AI 裝置的未來並不遙遠,個人 AI 助理會像手機一樣部分在本地執行、部分回到雲端。他預計這些助理會非常瞭解使用者、擁有獨立的安全邊界,還能接入信用卡代為購物。Feldman 自己已用一組 agent 整理日程、準備通話物件的背景資料,但他表示消費級創意留給其他創業者,Cerebras 只做平台。