llama.cpp b12077 支援 GLM-5.3,修復多裝置 MLA 拆頭
llama.cpp 建置 b12077 加入 GLM-5.3(glm5-next)支援,可在 meta 後端跑 MLA 推理。由於 MLA 快取只有一個 KV head,多裝置時每張卡分到的頭數取決於 GQA 比例;HIP 上 D=512 的 tile FA kernel 要求該比例為偶數,三卡下 16 個頭被拆成 5/5/6 會直接中止,現已改為按對拆頭。
依意思最接近的 30 筆
llama.cpp 建置 b12077 加入 GLM-5.3(glm5-next)支援,可在 meta 後端跑 MLA 推理。由於 MLA 快取只有一個 KV head,多裝置時每張卡分到的頭數取決於 GQA 比例;HIP 上 D=512 的 tile FA kernel 要求該比例為偶數,三卡下 16 個頭被拆成 5/5/6 會直接中止,現已改為按對拆頭。
LM Studio 推薦開源 MLX 引擎 oMLX,稱其是面向 Apple Silicon 的高效能、受歡迎的推理引擎,由 @jundotkim 建立並領導。該專案開源且社群活躍,推文附有 GitHub 連結,未給出更多效能資料或安裝細節。
Mistral 宣布與輝達建立新合作,將 AI 引入工業工程,並加快模擬速度。合作還包含為物理 AI 發布開放基準與配套資料集,以及為 CAE、EDA 中的 agentic AI 提供評測。更多資訊見 Mistral 官方公告。
Marissa Mayer 因用 AI 生成女兒的性格描述而遭批評,被指矽谷高管與大眾脫節。她在介紹新應用 Dazzle(一款從相簿中學習的 AI 助手)時說,該應用幫她為女兒的學校生日展示想出三個要點,把女兒概括為有同理心、有創造力、熱愛動物,被批像通用星座描述。Mayer 事後在 X 上解釋稱是在測試原型,但同一採訪中她仍提出可用 AI 規劃生日派對主題和親子活動。文中還引皮尤調查:50% 美國成年人認為 AI 會削弱人建立有意義關係的能力,僅 5% 認為會更容易。
LM Studio 新增 oMLX 推理引擎;使用者下載該引擎後,可直接用它執行本地已有的 MLX 模型,無需重新下載模型。該整合由 LM Studio 與 Hugging Face 以及 jundotkim 合作完成。官方未披露支援的模型範圍、硬體要求與效能表現。
微軟發布第三代自研 AI 晶片 Maia 300,將其定位為微軟產品與服務的主要 AI 推理系統,計劃 2027 年開始投入生產部署。微軟雲業務執行副總裁 Scott Guthrie 表示,相比主流的 GPU 系統,Maia 300 每兆瓦可多輸出 40% 的 token,並更能應對最新的推理模型與 agentic 任務。該晶片的設計目標是提升雲端 AI 工作負載的成本與效率,減少對 Nvidia GPU 的依賴。
Mistral 已在 Hugging Face 和自家 API 上開放萬億引數模型 Mistral Large 4(ML4)的權重,企業與政府機構可自行下載並本地部署,用於對程式碼和 IT 設施中的威脅做檢測、分析與回應。Mistral 稱 ML4 效能與開源對手 GLM-5.3 相當,但每項任務少用 47% token,並在 Artificial Analysis 的 Coding Agent Index 上領先其他開源模型的 agentic coding 任務。
v0.40.5 把 MLX 原本為 Metal 寫的自訂核心移植到 CUDA,MLX 推理路徑由此延伸到 NVIDIA GPU。同一版本中,OpenAI 相容層可在 Responses 歷史裡接受自訂工具呼叫,應用端澄清了雲支付報錯提示,文件更新模型推薦並統一措辭。此外還有 MLX 的版本號提升,以及新貢獻者 @willietran 的首次提交。
MLX 今日發布新版本,支援用 RDMA over Thunderbolt 把多臺 Mac Studio 組成叢集:4 臺 M5 Ultra 執行近萬億引數的 Muse Spark Open(816B MoE,NVFP4 精度)解碼超過 36 tokens/s,高於人類平均閱讀速度。單臺 512GB Mac Studio 可跑 Qwen 3.8 27B 與 Mistral Medium 3.5 128B,在 65,536 上下文下分別佔用最多 68GB 和 158GB 記憶體。
Ollama 發布 v0.40.0,在 Apple Silicon 裝置上,MLX 執行時支援的模型架構會自動改用 MLX 執行。官方範例為 ollama pull qwen3.8 與 ollama run qwen3.8,其他可用模型還包括 gemma4、qwen3.6 和 qwen3.5;決策模型 Nimble、tev1、clef、clef-flash 也已支援 MLX,並新增嵌入模型 embeddinggemma-2 支援。官方表示會繼續測試並啟用更多模型。
Ollama 發布 v0.40.0,在 Apple Silicon 裝置上,MLX 執行時支援的模型架構將自動改用 MLX 執行。可用模型包括 qwen3.8、gemma4、qwen3.6、qwen3.5,決策模型 Nimble、tev1、clef、clef-flash 也已登陸 MLX,官方稱會繼續測試並啟用更多模型。
Ollama 發布 v0.40.0,在 Apple Silicon 裝置上,MLX 執行時支援的模型架構將自動改用 MLX 執行。官方範例為 ollama pull qwen3.8 與 ollama run qwen3.8;預發布期間會繼續測試並啟用更多模型。
llama.cpp 的 SYCL 後端放行了 GLM-4.7 Flash 的 MLA 形狀走 MKL flash attention,此前該形狀因 K/V 寬度不一致、head dim 上限 512 被排程器拒絕,預填充只能回退到更慢的 TILE kernel。在 Intel Arc Pro B70 上,pp8192 從 432.80 提升到 1292.29 tok/s(2.99 倍,+198.6%),tg256 在噪聲範圍內基本不變(45.67 對 45.65)。
Ollama 發布 v0.40.0:在 Apple Silicon 裝置上,MLX 執行時支援的模型架構會自動改用 MLX 執行。本次納入 MLX 的模型包括 qwen3.8、gemma4、qwen3.6、qwen3.5,決策模型 Nimble、tev1、clef、clef-flash 也已支援。可用 ollama pull / run qwen3.8 拉取與執行,官方稱將繼續啟用更多模型。
Google AI Edge 推出 ML Drift,一個面向端側 AI 與機器學習推理的高效能通用 GPU 計算框架。它把 OpenGL ES、OpenCL、Metal、WebGPU 等底層硬體與圖形計算 API 抽象掉,讓開發者無需直接處理這些介面,就能在移動端與桌面端建置即時互動式 ML 體驗,覆蓋從複雜影片特效到生成式 AI 的場景。
開源工具 RemoveMacAI 面向 macOS 27,可關閉 Apple Intelligence 各項功能、刪除已下載的本地模型,並阻止系統再次下載。macOS 27 已取消單一開關,關閉功能後模型仍留在磁碟上,該工具通過配置描述檔案實現,支援 status、off、revert 等命令,所有更改可還原。要求 Apple 晶片,僅支援 macOS 27,27.0.1 需 0.2.3 或更高版本。
MLX 開發者 Awni Hannun 稱,兩臺 M5 Ultra 搭配 MLX 現在能做出相當驚人的結果。推文只有這一句,沒有給出模型、任務型別、速度或視訊記憶體資料,也沒有說明是推理還是訓練。可確認的只有硬體與框架組合:雙 M5 Ultra 加 MLX。
Mistral AI 官方稱 Mistral Large 4 是全球網路安全能力最強的 AI 模型之一。這一表述發布於 2026 年 10 月 6 日,僅來自其官方社交帳號,沒有附帶基準測試成績、具體安全任務範圍、發布時間、定價或開放方式。因此目前無法判斷它與同類模型在網路安全場景中的實際差距。
ML4Good 與 EquiStamp 於 2026 年 9 月在英國東薩塞克斯舉辦了首屆歐洲前沿 AI 與法律研討會,為期五天,面向來自 12 個司法管轄區的 19 名資深法律、治理與風險專業人士。課程覆蓋從訓練、評估到 agent 與防護措施的前沿 AI 全流程,並對應採購、風險評估及供應商安全宣告失效等實際工作場景。參與者包括律所與內部律師、隱私合規人員、風險與金融顧問、法律學者及司法和公共部門代表。
Meta 將於 10 月 30 日更新商業服務條款,要求所有商業帳號允許 Meta 用其關聯網站內容訓練 AI,且不提供退出選項,只建議不同意的商家停用 Meta 服務。新條款覆蓋範圍不止社交媒體帖子,還包括商家關聯網站上的內容,對新聞出版商衝擊最大——它們本可就 Meta 持續抓取文章用於 AI 訓練收取數百萬美元授權費。目前新聞機構正與 OpenAI 就未授權訓練是否屬於合理使用對簿公堂,而 Meta 的條款無論判決如何都先取得了寬泛許可。
開源命令列工具 RemoveMacAI 可以刪除 macOS 上的 Apple Intelligence 模型資料並關閉相關功能,開發者稱可釋放約 12GB 磁碟空間。macOS 27 移除了此前關閉 Apple Intelligence 的單一設定開關,模型仍留在磁碟上,相關功能被拆散到不同設定面板中。開發者表示,該工具本質上做的就是舊開關的事;手動操作需找到約十幾個設定,其中若干位於螢幕時間(Screen Time)下。
Mistral AI 官方帳號宣布,Mistral Large 4 在 Harvey 的 Legal Agent Benchmark(LAB)中位列開源模型第一。該推文以「金球獎·法律組」的說法公布這一排名,LAB 是面向法律場景智慧體能力的評測基準。原文未給出具體分數、參評模型數量與評測細節。
Meta 發布 Muse Spark Open,為讓先進模型更易獲取,該模型針對最新 MLX 框架做了最佳化,可在兩臺 Apple M5 Ultra Mac Studio 上執行。它同時支援 SGLang、vLLM、TensorRT-LLM、Hugging Face Transformers、llama.cpp、Unsloth 等主流推理引擎,並針對 AMD、Apple、Intel 與 NVIDIA 晶片最佳化。
Meta 的個人 AI 智慧體 Muse 在 9 月 8 日上線後約 22 天達到 500 萬美國下載,Sensor Tower 估算其增速快於 ChatGPT、Grok 和 Claude,並曾連續多日登頂美區 App Store 免費榜。
Ollama 官方表示,Meta 最新發布的開放權重模型將很快在 Ollama 上線。Ollama 稱其為迄今美國最好的開放權重模型,但未透露模型名稱、引數規模與具體上線時間。
一項研究指出,近期自主機器學習工程(MLE)agent 普遍依賴多 agent 編排器、專用檢索子 agent 等複雜框架,但更簡單、僅靠 read、write、bash 原語直接訪問執行環境的 coding agent 路線卻少有人研究。該工作正是要回答:強 agent 做自主 MLE 究竟需要多少這類外圍框架。
據 The Information 報導,Meta 和微軟正在減少員工對 Claude 的依賴,推動開發者轉向自家 AI 工具。Meta 內部 Claude Code 活躍使用者從 6 萬降至 3 萬,減少 50%,由自研的 Muse Code 和 MetaCode 補位,最近一個 28 天週期在 Claude Code 上花費超 1.05 億美元。
Mistral 與 NVIDIA 宣布合作開發 AI 原生工程工作流:以 Mistral Large 4 配合資料生成與物理建模管線,用 NVIDIA CUDA-X、Warp 加速模擬,並接入 Omniverse 生成 3D 場景與 SimReady 資產。雙方還將發布物理模型的公開基準與開放資料集,併為 CAE、EDA 中的 agentic AI 建立評測,考察工具使用、多步流程與技術正確性,同時記錄耗時與算力成本。
Mistral AI 發布 Mistral Large 4,官方稱其可執行通用智慧體。這些智慧體能夠在複雜工作流中收集資訊,併產出成品的交付物。除這一句描述外,官方未公布引數規模、上下文長度、價格或可用渠道等資訊。
輝達宣布計劃投資 Doctolib、Entalpic、Genesis AI 和 Pigment 四家法國初創,方向分別是醫療智慧體、原子級材料工程、通用機器人和企業規劃平台。輝達稱其在歐洲技術生態的累計承諾投入已接近 100 億美元,此前還投資過 Alice&Bob、Gradium 和 Scintil Photonics。