llama.cpp 為 Metal 加入少行 MMA 矩陣乘核心
llama.cpp 合併 PR #29869,為 Metal 後端新增支援 2 到 16 行 src1 的 mat-mul 核心,用於加速投機解碼中的少行矩陣乘。此前 Metal 在無 tensor API 時用 mat-vec 核心處理這些運算,耗時隨 src1 行數增長,導致 M3 Ultra 上 DFlash2 解碼慢於序列解碼。
依意思最接近的 7 筆
llama.cpp 合併 PR #29869,為 Metal 後端新增支援 2 到 16 行 src1 的 mat-mul 核心,用於加速投機解碼中的少行矩陣乘。此前 Metal 在無 tensor API 時用 mat-vec 核心處理這些運算,耗時隨 src1 行數增長,導致 M3 Ultra 上 DFlash2 解碼慢於序列解碼。
Latent Space 播客本期嘉賓為 MIT 的 Alex Zhang,他是 Recursive Language Models(RLM)的作者,也是 GPU Mode 社群成員。
Meta 開源了讓使用者自製 Muse AI 硬體裝置的程式碼,Muse 是其新的 AI agent。官方建議的玩法包括把 Muse 裝到彩色 E Ink 屏上顯示提醒、裝到 HDMI 棒上投到大屏,或裝到小觸控式螢幕裝置上做成類似 DIY Muse Charm 的形態。使用者可用現成 ESP32 板或 Raspberry Pi 配合官方 SDK,連線顯示屏、按鈕、感測器、執行器等外設。
Meta 的消費級 AI 產品 Muse 已在美國 App Store 榜首停留一段時間。其核心能力(瀏覽器與電腦操作、雲端工作流、定時任務、手機遠端控制)在 Codex、Claude Code 等工具中已存在一年多,Muse 的差異在於把複雜選項抽象為單一聊天介面,並靠廣告而非賣 token 變現,免費額度因此相當寬鬆。作者認為這可能是 agentic AI 首次對普通消費者變得可理解。
OpenAI CEO Sam Altman 在 2026 年 10 月 1 日發帖表示,使用者應當能夠在任何需要的地方使用自己的 AI 訂閱。該表態未說明具體產品、實施方式或時間表,也未提及是否涉及跨平台或第三方應用。
研究者 Roya Pakzad 用同一提示詞讓 Meta Muse、Anthropic Claude Cowork Opus 5.5 Medium 和 OpenAI GPT 6.1 Sol 分別補全世界銀行政府採購資料庫中美國與伊朗的資料,美國任務用英文、伊朗任務用波斯文。GPT 僅開頭請求一次網站存取權限;Claude 全程詢問 18 次且因沙箱限制改用 2018 年 DataBank API 資料;
Astral Codex Ten 發布文章《Our AI Midwife》,記錄在分娩過程中使用 AI 的經歷。該文在 Hacker News 獲得 32 分、5 條評論,討論集中在 AI 在醫療場景中的實際作用與邊界。