@awnihannun: Pretty remarkable what two M5 Ultras + MLX can do now
MLX 開發者 Awni Hannun 稱,兩臺 M5 Ultra 搭配 MLX 現在能做出相當驚人的結果。推文只有這一句,沒有給出模型、任務型別、速度或視訊記憶體資料,也沒有說明是推理還是訓練。可確認的只有硬體與框架組合:雙 M5 Ultra 加 MLX。
依意思最接近的 30 筆
MLX 開發者 Awni Hannun 稱,兩臺 M5 Ultra 搭配 MLX 現在能做出相當驚人的結果。推文只有這一句,沒有給出模型、任務型別、速度或視訊記憶體資料,也沒有說明是推理還是訓練。可確認的只有硬體與框架組合:雙 M5 Ultra 加 MLX。
MLX 今日發布新版本,支援用 RDMA over Thunderbolt 把多臺 Mac Studio 組成叢集:4 臺 M5 Ultra 執行近萬億引數的 Muse Spark Open(816B MoE,NVFP4 精度)解碼超過 36 tokens/s,高於人類平均閱讀速度。單臺 512GB Mac Studio 可跑 Qwen 3.8 27B 與 Mistral Medium 3.5 128B,在 65,536 上下文下分別佔用最多 68GB 和 158GB 記憶體。
Google AI Edge 推出 ML Drift,一個面向端側 AI 與機器學習推理的高效能通用 GPU 計算框架。它把 OpenGL ES、OpenCL、Metal、WebGPU 等底層硬體與圖形計算 API 抽象掉,讓開發者無需直接處理這些介面,就能在移動端與桌面端建置即時互動式 ML 體驗,覆蓋從複雜影片特效到生成式 AI 的場景。
Ollama 發布 v0.40.0,在 Apple Silicon 裝置上,MLX 執行時支援的模型架構將自動改用 MLX 執行。官方範例為 ollama pull qwen3.8 與 ollama run qwen3.8;預發布期間會繼續測試並啟用更多模型。
法國 AI 實驗室 Mistral 於週二發布 1 萬億引數多模態模型 Mistral Large 4(ML4),暱稱 Le Chonk。它暫不是開放權重模型,只能通過公開的 guardrail 端點訪問,Mistral 計劃三週內完成安全測試後放出權重。該模型全程用自家算力訓練,僅 4000 塊 Nvidia GPU,官方稱比中國競爭對手少兩到三倍。基準結果未公布,最佳化場景包括網路安全、金融和晶片設計;三星上月以 210 億歐元估值領投其 D 輪。
Ollama 發布 v0.40.0,在 Apple Silicon 裝置上,MLX 執行時支援的模型架構將自動改用 MLX 執行。可用模型包括 qwen3.8、gemma4、qwen3.6、qwen3.5,決策模型 Nimble、tev1、clef、clef-flash 也已登陸 MLX,官方稱會繼續測試並啟用更多模型。
Ollama 發布 v0.40.0,在 Apple Silicon 裝置上,MLX 執行時支援的模型架構會自動改用 MLX 執行。官方範例為 ollama pull qwen3.8 與 ollama run qwen3.8,其他可用模型還包括 gemma4、qwen3.6 和 qwen3.5;決策模型 Nimble、tev1、clef、clef-flash 也已支援 MLX,並新增嵌入模型 embeddinggemma-2 支援。官方表示會繼續測試並啟用更多模型。
Meta 發布 Muse Spark Open,為讓先進模型更易獲取,該模型針對最新 MLX 框架做了最佳化,可在兩臺 Apple M5 Ultra Mac Studio 上執行。它同時支援 SGLang、vLLM、TensorRT-LLM、Hugging Face Transformers、llama.cpp、Unsloth 等主流推理引擎,並針對 AMD、Apple、Intel 與 NVIDIA 晶片最佳化。
一項研究指出,近期自主機器學習工程(MLE)agent 普遍依賴多 agent 編排器、專用檢索子 agent 等複雜框架,但更簡單、僅靠 read、write、bash 原語直接訪問執行環境的 coding agent 路線卻少有人研究。該工作正是要回答:強 agent 做自主 MLE 究竟需要多少這類外圍框架。
Ollama 發布 v0.40.0:在 Apple Silicon 裝置上,MLX 執行時支援的模型架構會自動改用 MLX 執行。本次納入 MLX 的模型包括 qwen3.8、gemma4、qwen3.6、qwen3.5,決策模型 Nimble、tev1、clef、clef-flash 也已支援。可用 ollama pull / run qwen3.8 拉取與執行,官方稱將繼續啟用更多模型。
Mistral AI 發布 Mistral Large 4(代號 Le Chonk),總引數 1T、啟用 49B,原生多模態,即日起通過 API 向所有人開放,開放權重版本將於 10 月底發布。官方稱其是歐美聚合基準上最好的開放權重模型,在網路安全、製造、金融等關鍵負載上達到 SOTA,視覺 grounding 超過閉源前沿模型。該模型端到端在歐洲打造,可通過 Mistral 自有的 Mistral Cloud 基礎設施部署,目前正與網路安全夥伴私下合作。
LiquidAI 發布 LFM2.5-24B-A2B:總引數 24B、每 token 僅 2B 啟用的 MoE 推理模型,專為在本機持續執行的私有 Agent 設計。它先輸出思維鏈再作答,能呼叫工具,上下文由上一代 32K 擴到 131K,詞表從 65K 翻倍至 128K。
MLX 發布 0.32.4,Metal 後端新增 1-bit 仿射量化支援,mlx.core.fft 新增 stft 與 istft 音訊變換運算元。同版本加入 Python 3.15 與 3.15t 支援、整數整除原語 FloorDivide、SDPA 與 gated delta net 的 VJP,並新增 MLX_CONV_WINOGRAD 開關以停用 conv2d 的 Winograd 實現。
Meta 發布開放權重模型 Muse Spark,稱其為美國迄今最強的開放權重模型,也是同類中首個能借助最新 MLX 框架、在兩臺 Apple M5 Ultra Mac Studio 上本地執行的模型。Meta 與蘋果這次罕見合作並公開互相支援:扎克伯格在 X 上表示該模型在新 Mac Studio 上表現出色,蘋果新任 CEO John Ternus 回覆致賀。
Latent Space 播客本期嘉賓為 MIT 的 Alex Zhang,他是 Recursive Language Models(RLM)的作者,也是 GPU Mode 社群成員。
Karpathy 在推文中估算,全球只有約 5000 人(約 0.00006% 人口)能直接使用最前沿的內部 AI 系統;約 2000 萬數學與程式設計專業人士在用前沿級 LLM 做專業工作,另有約 60 億人(約全球 75%)幾乎沒接觸過 LLM。他把這種分化稱為一條越來越陡的能力漏斗,成因是任務規模、能力鋸齒狀分佈(集中在可數字化、可驗證、商業價值高的領域)與存取權限分層。這些內部系統可讓成千上萬 Agent 組成叢集連續執行數週,推進大型軟體專案、發現零日漏洞。
llama.cpp 建置 b11695 為 Mellum2.1 和 Mellum 加入 MTP(多 token 預測)支援,並把 Mellum 的 rope 構造改為內聯方式。
Mistral AI 官方稱 Mistral Large 4 是全球網路安全能力最強的 AI 模型之一。這一表述發布於 2026 年 10 月 6 日,僅來自其官方社交帳號,沒有附帶基準測試成績、具體安全任務範圍、發布時間、定價或開放方式。因此目前無法判斷它與同類模型在網路安全場景中的實際差距。
Apigee hybrid 1.17.0 引入原生 Model Context Protocol(MCP)支援,MCP 資料平面可直接執行在使用者自己的 Kubernetes 叢集內,AI agent 的請求流量與工具執行全部留在自有基礎設施中,只有配置更新從控制平面拉取。開發者可把 OpenAPI 3.0.x 規範暴露為可被發現的 MCP 工具,複用既有安全策略與 API 產品,並藉助 W3C trace context 頭實現端到端請求追蹤。
llama.cpp 的 SYCL 後端放行了 GLM-4.7 Flash 的 MLA 形狀走 MKL flash attention,此前該形狀因 K/V 寬度不一致、head dim 上限 512 被排程器拒絕,預填充只能回退到更慢的 TILE kernel。在 Intel Arc Pro B70 上,pp8192 從 432.80 提升到 1292.29 tok/s(2.99 倍,+198.6%),tg256 在噪聲範圍內基本不變(45.67 對 45.65)。
開源工具 mlsubgen 可在本機為影片生成 45 種語言字幕,僅支援 Linux 與 NVIDIA 顯示卡。它按每段語音檢測語言而非整檔案,同時執行兩個語音識別器並用本地 LLM 調和,且優先使用內嵌字幕軌(含藍光 PGS 點陣圖 OCR),無字幕時才聽音訊。模型佔用 30–65 GB 儲存,需 16–32 GB 記憶體,作者在 24 GB RTX A5000 上實測,純聽音訊時約每個目標語言耗時接近即時。
v0.40.5 把 MLX 原本為 Metal 寫的自訂核心移植到 CUDA,MLX 推理路徑由此延伸到 NVIDIA GPU。同一版本中,OpenAI 相容層可在 Responses 歷史裡接受自訂工具呼叫,應用端澄清了雲支付報錯提示,文件更新模型推薦並統一措辭。此外還有 MLX 的版本號提升,以及新貢獻者 @willietran 的首次提交。
開源工具 RemoveMacAI 面向 macOS 27,可關閉 Apple Intelligence 各項功能、刪除已下載的本地模型,並阻止系統再次下載。macOS 27 已取消單一開關,關閉功能後模型仍留在磁碟上,該工具通過配置描述檔案實現,支援 status、off、revert 等命令,所有更改可還原。要求 Apple 晶片,僅支援 macOS 27,27.0.1 需 0.2.3 或更高版本。
llama.cpp 建置版本 b11540 發布,核心變更是 SYCL 後端通過算術解碼與權重重排加速 MXFP4 MoE 模型推理(PR #29809)。該版本同時提供 macOS、Linux、Windows、Android 與 openEuler 的預編譯包,覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端;
Mistral 放出 Mistral Large 4 預覽版:1 萬億總引數、490 億啟用引數,在自建 3800 塊 NVIDIA Grace Blackwell GPU 叢集上訓練。預覽版目前只通過 Mistral API 提供,官方承諾月底發布開放權重版本。該 API 僅支援 none 和 high 兩檔推理等級,high 檔生成同樣題目時用了 2717 個輸出 token,反而少於 none 檔的 3275。
開源命令列工具 RemoveMacAI 可以刪除 macOS 上的 Apple Intelligence 模型資料並關閉相關功能,開發者稱可釋放約 12GB 磁碟空間。macOS 27 移除了此前關閉 Apple Intelligence 的單一設定開關,模型仍留在磁碟上,相關功能被拆散到不同設定面板中。開發者表示,該工具本質上做的就是舊開關的事;手動操作需找到約十幾個設定,其中若干位於螢幕時間(Screen Time)下。
廈門大學 ASC 實驗室的 FlowMAS 被 NeurIPS 2026 錄用:它用生成流網路(GFlowNet)把多智慧體工作流拓撲的設計變成可學習的生成問題,讓 AI 自動學出團隊的排兵佈陣。方法引入好奇心驅動與資訊引導兩個模組,在搭建每一步給中間結構發過程性獎勵,後者用資訊理論衡量多路 AI 輸出的協同與冗餘。在 6 個基準、3 種模型底座上,它比手工設計平均高 8.17 分、比自動化方法高 6.12 分;
Mistral AI 稱 Mistral Large 4 在 AutomationBench 上完成 657 個業務工作流,成績領先 Kimi K3、MiMo-V2.6-Pro 與 DeepSeek V4 Pro。該基準的任務跑在模擬辦公應用中,涵蓋 Gmail、Google Sheets、Slack 與 Salesforce 四個工具。帖文未披露具體分數、評測日期與配置細節。
微軟發布第三代自研 AI 晶片 Maia 300,將其定位為微軟產品與服務的主要 AI 推理系統,計劃 2027 年開始投入生產部署。微軟雲業務執行副總裁 Scott Guthrie 表示,相比主流的 GPU 系統,Maia 300 每兆瓦可多輸出 40% 的 token,並更能應對最新的推理模型與 agentic 任務。該晶片的設計目標是提升雲端 AI 工作負載的成本與效率,減少對 Nvidia GPU 的依賴。
Meta 發布開源權重模型 Muse Spark Open,稱其是美國迄今能力最強的開源權重模型,主打編碼與 agentic 任務。模型總引數 816B、啟用 42B,上下文視窗 1M token,原生支援文字、影像、影片與音訊多模態。官方稱其在長時程任務、複雜軟體工程和多步推理上表現突出。