AISpot

搜尋

找到 50 筆

llama.cpp releasesAI 評分43

llama.cpp 修復 Vulkan 主機記憶體問題,AMD 停用記憶體共享

llama.cpp 發布 b11683 版本,Vulkan 後端修復了 GPU 可見主機記憶體的相關問題,並減少主機指標匯入失敗時的日誌刷屏。該版本把 MoltenVK 排除在共享記憶體匯入之外,同時因 amdgpu 效能問題,在 AMD 上停用了主機記憶體緩衝區共享。

llama.cpp releasesAI 評分42

llama.cpp 發布 b11424,修復 Vulkan Flash Attention 共享記憶體越界寫

llama.cpp 發布 b11424 建置版本,修復 Vulkan 後端 Flash Attention 的共享記憶體越界寫問題(#29988)。該版本照例提供 macOS/iOS、Linux、Windows、Android 的預編譯包,涵蓋 Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL、OpenCL 等後端,並附驍龍 CPU/Adreno GPU/Hexagon NPU 的安裝指引。

llama.cpp releasesAI 評分40

llama.cpp b11693 修復 SYCL 後端 mul_mat 記憶體錯誤

llama.cpp 發布建置 b11693,核心改動是修復 SYCL 後端在 mul_mat、split buffer 和 host pool 中的記憶體錯誤(PR #29889)。該版本同時更新了預編譯產物清單,覆蓋 macOS/iOS、Linux、Windows、Android,包含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO 以及 SYCL FP32/FP16 等後端。

llama.cpp releasesAI 評分41

llama.cpp b11583:無快取路徑避免記憶體重複分配

llama.cpp 發布 b11583,主要改動是在「no cache」路徑下避免圖記憶體的重複分配(#30439),即不使用 prompt 快取時可減少反覆申請與釋放視訊記憶體/記憶體。該版本照例提供 macOS、Linux、Windows、Android 等平台的預編譯包,其中 macOS Apple Silicon 的 KleidiAI 建置和 openEuler 建置本次標記為 DISABLED。

The Verge AI● 精選AI 評分76

輝達 RTX Spark N1X 筆記本開賣,最高 128GB 統一記憶體

輝達 RTX Spark N1X 處理器正式上市,首批發售的 Windows 筆記本來自六家廠商,其中微軟 Surface Laptop Ultra 配備 128GB 統一記憶體。這是面向筆記本和小型桌上型電腦的 Arm 架構 SoC,整合 RTX Blackwell 顯示卡,核心數量眾多,主打以統一記憶體執行較大規模的本地 AI 模型,對標蘋果、英特爾、AMD 和高通。目前已有四款機型完成測試,包括華碩的 64GB 版本。

Hacker News front pageAI 評分68

Vx 發布:把 CPU、GPU、NPU 記憶體寫進型別系統的程式語言

Vx 是一門面向異構計算的系統程式語言,把 CPU、GPU、NPU 與加速器記憶體納入型別系統,主機執行緒解引用裝置指標會直接編譯報錯而非執行時崩潰。它要求跨記憶體空間的資料移動顯式呼叫 transfer(),並用機器檔案描述 H100、H200、B200、A100、MI300X、Apple M4 等真實硬體的記憶體層級與互連,編譯期據此接受或拒絕放置方案。

Hacker News front pageAI 評分69

Intel 公布 D270 推理 GPU:480GB 記憶體、350W 風冷

Intel 公布面向 agentic AI 的資料中心推理 GPU D270,單卡最高 480GB LPDDR5X 記憶體,350W 風冷,不依賴 HBM。晶片面積從圖形與光追管線轉向 32 個 Xe3P 核心和 256 個 XMX 矩陣引擎,用於加速長上下文、多輪 agent 工作流的 prefill 與高併發服務。

Ars Technica AIAI 評分50

受 AI 推高記憶體成本影響,Nvidia Shield TV Pro 漲價 100 美元

Nvidia 宣布自 2026 年 10 月 2 日起,2019 年發布的 Shield TV Pro 立即漲價 100 美元,從 199.99 美元升至 299.99 美元。Nvidia 發言人向 Ars 確認,漲價源於包括記憶體在內的元器件成本在全行業大幅上漲。該裝置搭載 Tegra X1+ 處理器,支援 AI 畫質提升與幾乎全部媒體格式的硬體解碼,非 Pro 版本已停產。

r/LocalLLaMA top of the dayAI 評分70

176B MoE 模型在 16GB 視訊記憶體筆記本上跑通

開發者用自研開源推理引擎 TensorSharp,在 RTX 3080 Laptop(16GB 視訊記憶體)+32GB 記憶體+SSD 的普通筆記本上執行 Qwen3.8 Flash Next 176B。做法是量化加 MoE 感知的統一排程,把快取、視訊記憶體、記憶體和 SSD 按專家啟用情況分層協調。對比 Strata:解碼 11.09 對 10.24 tok/s,但整程耗時 16.54 秒對 62.15 秒。

Ars Technica AI● 精選AI 評分80

微軟 Surface Laptop Ultra 發布:首發 RTX Spark,2599 美元起

微軟在兩年來的首場線下活動中發布 Surface Laptop Ultra,這是首款搭載 Nvidia RTX Spark SoC 的裝置,起售價 2599 美元,10 月 16 日開始發貨,現已開啟預售。它可選 5120 核或 6144 核 Blackwell GPU,統一記憶體最高 128GB LPDDR5x,依靠統一記憶體分配而非傳統視訊記憶體上限,兼顧本地 AI 開發部署與 3A 遊戲執行。

The Verge AIAI 評分43

The Verge 作者開啟本地 AI 日常使用連載,權衡隱私與記憶體成本

《The Verge》一名作者開始連載自己日常使用本地 AI 的體驗,此前他一直不願把最私人的資料交給雲端服務。他認為如今在本地執行較強模型已越來越可行,但不確定是否值得為一臺配了大容量、價格不菲記憶體的電腦或筆記本花大錢。文章還提到 Apple 對新款 Mac 桌面機的宣傳。他自認不是 AI 專家,會邊用邊寫。

NVIDIA blog● 精選AI 評分91

RTX Spark 筆記本 10 月 16 日上市,Nemotron 3.5 Bolt 74B 同步發布

NVIDIA 宣布 RTX Spark 筆記本將於 10 月 16 日上市,該平台最高提供 128GB 統一記憶體與 1 petaflop AI 算力。為本地 agent 打造的 Nemotron 3.5 Bolt 74B 將在 10 月 15 日發布,採用 74B 引數、9B 啟用的 MoE 架構,以 2-bit 量化裝入 24GB 記憶體。

Hacker News front pageAI 評分46

逆向工程後,AI Agent 跑在 48MB 記憶體的諾基亞 110 上

一位開發者把 AI Agent 跑在了只有 48MB RAM 的諾基亞 110 功能機上,並已用它自動化了幾個操作。他平時用這部手機來減少螢幕時間,最初嘗試刷入 Android 系統,因記憶體只有 48MB 而失敗,隨後花幾天時間逆向工程,最終讓 AI Agent 在這臺手機上執行。該帖發在 Hacker News 的 Show HN 板塊,目前 15 分、3 條評論,作者未說明所用的是哪個 AI 模型,也沒列出具體自動化了哪些操作。

r/LocalLLaMA top of the dayAI 評分11

r/LocalLLaMA 熱議 8GB 視訊記憶體跑本地模型的困境

Reddit 的 r/LocalLLaMA 版塊一則帖子被版主以違反第 3 條規則為由刪除,評論區仍在討論 8GB 視訊記憶體加 16GB 記憶體的低配硬體如何跑本地模型。有使用者提到 32GB 記憶體加 12GB 視訊記憶體可執行 LFM2.5,也有人建議 Ling 3.0 tiny 或 Gemma 配合 mmap。另有評論稱專家快取即將進入 llama.cpp,未來或支援從磁碟流式載入專家。

llama.cpp releasesAI 評分33

b11422: cuda: use the vector lightning indexer kernel on MUSA (#29990)

llama.cpp 合併 PR #29990,在 MUSA 後端改用向量版 lightning indexer kernel。原因是 MUSA 架構 21 與 22 的靜態共享記憶體上限為 28 KB,而 tile kernel 需要 33 KB,所以 tile kernel 不用於 MUSA;CUDA 與 ROCm 仍執行合併後的原 kernel,沒有變化。

The Verge AIAI 評分67

微軟 Surface RTX Spark 開發盒開啟預售,售價 5999 美元

微軟搭載 Nvidia 晶片的 Surface RTX Spark Dev Box 已開啟預售,定價 5,999 美元,預計 11 月發貨。它採用 Nvidia Arm 架構的 RTX Spark 平台與 128GB 統一記憶體,100 瓦熱設計功耗,機身是兼作散熱器的 3D 列印陽極氧化鋁外殼,外觀類似 Xbox Series X 頂部散熱孔。價格高於 Nvidia 去年推出的 DGX Spark 迷你主機,原文將漲價歸因於記憶體等零部件短缺導致 PC 價格上行。

llama.cpp releasesAI 評分42

llama.cpp Vulkan 為 AMD 最佳化 f16/bf16 KV 複製

llama.cpp 建置 b11647 的 Vulkan 後端為 AMD 顯示卡最佳化了 f16/bf16 KV cache 的 strided 複製:先把 KV 一次性拷到 scratch,使跨記憶體通道的讀取分散,而不是集中在少數通道上。改動刪掉了專用的反量化 shader,改為複用已有的通用 copy pipeline——f16 分支只需要 strided copy,不需要 dequant;複製按源記憶體順序描述,讓跨步訪問落在順序寫入端。

r/LocalLLaMA top of the dayAI 評分70

llama.cpp 新 PR 將 Qwen4 索引器視訊記憶體減半

llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體,把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB,262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變,僅分數因 fp32 舍入有差異;有使用者反饋解碼速度約降 10%。

NVIDIA blog● 精選AI 評分80

NVIDIA DGX Spark 推出 64GB 版,10 月 23 日 4999 美元起

NVIDIA 宣布 DGX Spark 新增 64GB 統一記憶體版本,10 月 23 日由 Acer、ASUS、Dell、Gigabyte、HP、MSI 發售,起售價 4999 美元。該機型保留 GB10 Grace Blackwell 晶片、DGX OS 與完整 AI 軟體棧,支援最高 1000 億引數模型本地執行;兩臺可通過 ConnectX-7 直連組成 128GB 叢集,支援 2000 億引數模型,官方 Qwen 3.8 27B 測試效能提升至 1.7 倍。

r/LocalLLaMA top of the dayAI 評分52

自建魔獸私服,讓 LLM 在瀏覽器裡玩遊戲

作者搭建了魔獸世界私服 jankcraft.xyz,並開發瀏覽器客戶端,PC 和手機均可免費遊玩。隨後用自訂 MCP 與 agent harness 通過 websocket 控制客戶端,讓 LLM 自動玩遊戲,agent 頁面已上線。本地模型需服務端開啟 CORS,作者自託管的幾個模型可能因用量增長下線;24GB 記憶體可跑 Qwen3.8-27B-GPTQ-W4A16,16GB 記憶體可用 vLLM 跑 Gemma4-e4b-coder。

r/LocalLLaMA top of the dayAI 評分64

r/LocalLLaMA 熱議 Strata:Qwen 3.8 Flash Next 專用推理方案

r/LocalLLaMA 使用者集中討論名為 Strata 的推理方案,稱其是專為 Qwen 3.8 Flash Next 打造的 llama.cpp 分支,面向 12GB 以上視訊記憶體的 GPU。使用者實測在 16GB 視訊記憶體、24GB 視訊記憶體及 64GB 記憶體等配置上可執行該開源模型,有人報告解碼約 82 tok/s、60 tok/s 或 1200pp,並稱速度約為 Qwen 3.8 27B 在 llama.cpp 上的兩倍。也有人質疑相關帖子是機器人營銷,討論其是否為炒作。

Google Developers blog● 精選AI 評分68

TPU 上影片擴散模型注意力最佳化提速 1.69 倍

開發者將 Sparse VideoGen(SVG)用於高解析度影片擴散模型,把注意力頭動態路由到結構化空間或時間稀疏掩碼,以緩解自注意力的二次延遲瓶頸。為在 TPU 上把演算法稀疏轉化為實際加速,團隊最佳化 Splash Attention 核心:跳過空記憶體塊、僅在邊界塊做精確座標掩碼、將 token 記憶體佈局改為時間優先以連續訪問。這些最佳化與硬體塊執行對齊後,1440p 影片生成端到端推理最高提速 1.69 倍。

X @lmstudio● 精選AI 評分77

@lmstudio: Nemotron 3.5 Super VL from @NVIDIAAI is live in LM Studio!

NVIDIA 的 Nemotron 3.5 Super VL 已在 LM Studio 上線,可直接在本地下載執行。該模型為 120B 總引數、12B 啟用引數的 MoE 架構,支援視覺輸入與推理,並針對視覺理解和工具呼叫做了訓練。官方提示本地執行約需 70GB 記憶體,模型頁面位於 lmstudio.ai。

llama.cpp releasesAI 評分42

llama.cpp 新增回撥,推理時可上報計算圖重新分配

llama.cpp 建置 b11567 引入可選的 ggml_backend_sched_realloc_callback,使用者程式碼通過 ggml_backend_sched_set_realloc_callback 註冊後,可在為計算圖預留的緩衝區不足、需要重新分配時收到通知。回撥會報告後端分配方案與圖大小相對上次排程是否發生變化。

TechCrunch AI● 精選AI 評分78

微軟發布 Nvidia 晶片 Surface AI PC,2600 美元起

微軟在舊金山 Tech Week 活動上公布新款 Surface Laptop Ultra 的規格與售價:兩款基礎型號分別 2600 美元、3700 美元起,選配更大記憶體與儲存後最高 5900 美元,頂配已售罄;同時發布 6000 美元起的 Surface RTX Spark Dev Box 工作站,預裝 VS Code、GitHub Copilot CLI、WSL 與 PowerShell 7。

X @ollama● 精選AI 評分77

Nemotron 3.5 Bolt 74B-A9B 上架 Ollama,原生 2-bit 量化只需 24GB

Ollama 上線 NVIDIA Nemotron 3.5 Bolt 74B-A9B,官方稱其採用原生 2-bit 量化,可壓進 24GB 記憶體,並能與其他應用同時執行。該模型是視覺語言模型(VLM),定位是在本地處理日常 agentic 任務。執行 ollama run nemotron-3.5-bolt 即可拉取執行。

llama.cpp releasesAI 評分43

llama.cpp 修復 ggml conv_1d 批次輸入轉置錯誤

llama.cpp 修復了 ggml conv_1d 在批次輸入下輸出通道與批次維度錯位的問題。conv_1d 背後的 GEMM 把 batch 折進行,結果在記憶體中是 [OL, N, OC],reshape 卻宣告為 [OL, OC, N],形狀正確但內容被轉置,因此不報錯、通道與批次交錯;N==1 時兩種讀法等價,倉庫裡三個 vocoder 都沒觸發。

TechCrunch AI● 精選AI 評分93

Meta 發布 8160 億引數開源權重模型 Muse Spark Open,可在 Mac 本地執行

Meta 發布開源權重模型 Muse Spark Open,擁有 8160 億引數和 100 萬 token 上下文視窗,原生多模態,面向複雜編碼與 agent 任務,並針對 Mac 本地執行設計。本地部署門檻不低,至少需要 1TB 記憶體,Meta 稱在搭載 M5 Ultra 晶片的 Mac Studio 上表現最佳。

機器之心● 精選AI 評分92

Meta 開源 816B 模型 Muse Spark Open,兩臺 Mac Studio 可本地執行

Meta 發布開源權重大模型 Muse Spark Open,816B 引數、42B 啟用、1M 上下文,原生多模態,面向程式碼與智慧體任務。該模型與蘋果合作,用 MLX 針對 Apple 晶片統一記憶體架構最佳化,兩臺 512G 的 M5 Ultra Mac Studio 即可本地執行,但兩臺機器售價已超過 4 萬美元。

Hacker News front pageAI 評分70

越獄 PS5 用 GPU 跑 llama.cpp,變成區域網模型伺服器

PS5LM 把 llama.cpp 的 Vulkan 後端搬到越獄 PS5 的 RDNA 2 GPU 上,用 11.4 GB 共享記憶體把主機變成家用模型伺服器,對外提供 OpenAI 與 Anthropic 介面,Claude Code 等客戶端可直接連。實測 Qwen 3.5 9B Q4_K_M 約 55 tokens/秒,27B 的 UD-Q2_K_XL 約 20 tokens/秒、64k 上下文;

Hacker News front pageAI 評分63

pg_vectorsearch 推出 PRISM 索引,稱比 pgvector HNSW 更快

PostgreSQL 擴充套件 pg_vectorsearch 以 alpha 版發布,其 PRISM 索引在 1 億向量資料集上同等召回率下比 pgvector 的 HNSW 更快,且記憶體只需四分之一。PRISM 屬 IVF 風格,用層次化質心樹分割槽,配合 RaBitQ 量化與誤差界做兩階段過濾,距離計算針對 AVX2、AVX512、NEON 最佳化,並支援插入、更新、刪除的動態更新。

The Verge AIAI 評分66

微軟 Surface Laptop Ultra 發布:2599 美元起,10 月 16 日上市

微軟在舊金山發表會上公布了 Surface Laptop Ultra 的發售細節:搭載 Nvidia RTX Spark Arm 晶片,8 核 CPU、24GB 記憶體、512GB 儲存的配置起售價 2599 美元,10 月 16 日上市,並以內建磁吸 USB-C 充電取代原有的 Surface Connect 介面。面向開發者的 Surface RTX Spark Dev Box 迷你主機已開啟預售,售價 5999 美元,11 月發貨;

OpenAI NewsAI 評分46

Third Moment 用 GPT-6 與 Codex 併發執行 1 萬個 agent

AI 實驗室 Third Moment Research 藉助 OpenAI 的 GPT-6 Astra、GPT-6.1 Sol 與 Codex,可同時執行 1 萬個 agent,單次自主研究持續 36–48 小時。Codex 曾定位量化回測瓶頸並部署快取與記憶體打包最佳化,把一年美股訂單級資料的回測從約 3 小時縮短到 3–5 分鐘,回測時間減少 97%。

Apple Machine Learning Research● 精選AI 評分85

MLX 新版發布:4 臺 Mac Studio 叢集跑 816B 模型超 36 tokens/s

MLX 今日發布新版本,支援用 RDMA over Thunderbolt 把多臺 Mac Studio 組成叢集:4 臺 M5 Ultra 執行近萬億引數的 Muse Spark Open(816B MoE,NVFP4 精度)解碼超過 36 tokens/s,高於人類平均閱讀速度。單臺 512GB Mac Studio 可跑 Qwen 3.8 27B 與 Mistral Medium 3.5 128B,在 65,536 上下文下分別佔用最多 68GB 和 158GB 記憶體。

r/LocalLLaMA top of the dayAI 評分68

Qwen3.8-Flash-Next 177B 在單張 RTX 5070 上跑出 11-15 tok/s

有人在 Windows 上用 llama.cpp 的專家流式方案,在單張 RTX 5070 12GB 加 32GB DDR4-2400 記憶體上執行 Qwen3.8-Flash-Next 177B(UD-IQ3_XXS),基準約 11.5 tok/s,日常對話可達 14-15 tok/s。一次長程式設計提示以 10.15 tok/s 生成 4,892 個 token,產出一個可執行的單檔案貪吃蛇遊戲。

llama.cpp releases● 精選AI 評分85

llama.cpp v0.7.0 發布:MoE 專家快取最高帶來 2.2 倍解碼提速

llama.cpp 發布 v0.7.0,最核心的變化是新增主機記憶體 MoE 專家的 GPU 快取(--moe-cache-mib),專家改由裝置端 LRU 快取執行,專家解除安裝時解碼最高提速約 2.2 倍,且該快取可跨多張 GPU 共享。版本同時加入 LiliCorr 投機解碼與 GLM5-Next 的 MTP 投機解碼,並支援 K2 Horizon、Prism Bonsai 2 27B、EmbeddingGemma-2、MiniCPM-V 4.7 等一批新模型。

r/LocalLLaMA top of the dayAI 評分43

Strata 搭配 Qwen3.8 Next 在 DDR4 平台跑出 45-70t/s

有使用者報告,用 Strata 執行 Qwen3.8 Next 的 IQ3_XXS 權重(接近 80GB),在 DDR4 記憶體加 7900XTX 的慢速平台上穩定達到 45-70 token/s,編碼時因 mtp 有時更高。同一臺機器上經調優的 llama.cpp 最高約 22.5t/s,且該使用者認為品質明顯更好,但不推薦 Q2 權重。12GB 和 16GB 顯示卡使用者有類似結果,DDR5 平台則顯著更快。

Google Developers blog● 精選AI 評分80

Gemini 4 Argon 通宵 11 小時最佳化 20 萬行 Python 庫,會話開銷降約 40%

Google 讓 Gemini 4 Argon 在 Antigravity 的 /goal 模式下無人值守跑了 11 小時,對約 20.5 萬行、近 800 個原始檔的 google/adk-python 倉庫做跨檔案效能最佳化,最終把長會話的記憶體 session 準備時間縮短約 40%,冷啟動包匯入加快 21%。該 PR 跨 32 個檔案提出 6 項最佳化,經人工評審後僅 2 項合入,4 項被拒。

Hacker News front page● 精選AI 評分76

EmbeddingGemma 2 改作語音轉文字,MacBook Air 上一小時音訊約 13 秒

把 Google 的 EmbeddingGemma 2 嵌入模型改造成語音轉文字模型 Embedding Gemma Transcribe 後,在 8GB 記憶體的基礎款 M3 MacBook Air 上,一小時音訊約 12.6 秒轉完,全程在端側 Neural Engine 執行。工具免費下載,要求 macOS 14+ 與 Apple Silicon,首次啟動下載 715MB 模型;可拖入音訊檔案,或按住右 Option 鍵說話、鬆開即聽寫到任意應用,音訊不離開本機。

llama.cpp releasesAI 評分46

llama.cpp 修復 ggml_acc 負偏移導致的越界寫

llama.cpp 建置 b11529 修復了 ggml 中 ggml_acc 的越界寫漏洞:ggml_acc_impl 將 size_t 偏移量收窄為 int32_t 時未做檢查,超大偏移會截斷成負數,再被符號擴充套件為巨大 size_t 導致邊界斷言失效,可在 dst 緩衝區下方越界寫入。修復方式是在收窄前檢查偏移量,與 ggml_set_impl 中已有檢查保持一致。該版本同時提供 macOS、Linux、Windows、Android 等多平台預編譯包。