PyTorch 2.15 為 MPS 加入 FP8,MoE 解碼提速 5–6.5 倍
PyTorch 2.15 在 MPS 後端加入 FP8 張量支援,並讓 MoE 模型解碼速度比 2.14 快 5–6.5 倍。在 M3 Ultra 上配合 torch.compile,Qwen3.6-35B-A3B 從 9.4 提升到 61.3 tokens/s,LFM2.5-8B-A1B 從 23.6 提升到 123.6 tokens/s,詞表 softmax 約快 8 倍。
依意思最接近的 30 筆
PyTorch 2.15 在 MPS 後端加入 FP8 張量支援,並讓 MoE 模型解碼速度比 2.14 快 5–6.5 倍。在 M3 Ultra 上配合 torch.compile,Qwen3.6-35B-A3B 從 9.4 提升到 61.3 tokens/s,LFM2.5-8B-A1B 從 23.6 提升到 123.6 tokens/s,詞表 softmax 約快 8 倍。
AWS 發布開發工具 TorchNeuron,用 PyTorch 寫的 AI 應用只需改一行配置即可跑在自研晶片 Trainium 上,無需重寫程式碼。AWS 稱約 85% 的 AI 應用基於 PyTorch,熟悉 PyTorch 的開發者可直接上手。亞馬遜還會把解耦 PyTorch 與特定晶片的程式碼回饋上游,推動框架硬體無關;Trainium 兼顧訓練與推理,AWS 強調價效比,語音 AI 公司 Deepgram 遷移後每美元處理音訊量提升 70%。
Python 3.15 的新 profiler 被用來剖析 PyPI 上的 web-edit 應用,並生成了火焰圖與原始碼熱力圖範例。這次演示由 Codex 中的 GPT-6 Astra Extra High 執行,先做調研再產出兩份圖。作者把生成的火焰圖和熱力圖作為範例公開,展示新版 profiler 的輸出形態。
TorchNeuron 將於 2026 年 10 月 20 日進入公開測試,為 AWS Trainium 提供原生 PyTorch 後端,可用 pip install torch-neuronx 安裝。
阿里發布 Qwen-Image-2.1-Turbo,這是基於 Qwen-Image-2.1 的加速 checkpoint,只需 8 步去噪即可生成和編輯影像,權重已在 ModelScope 與 Hugging Face 開放。它沿用同一 7B 視覺生成架構,官方稱步數減少不犧牲品質,仍可從文字生成 2K 影像,並支援用自然語言繼續編輯,例如新增配飾或更換場景。Diffusers 中載入 QwenImage21Pipeline 即可使用推薦的 8 步取樣;
聯想 YOGA Pro 15 RTX Spark 於 10 月 8 日 9:00 開啟全網盲約,為全球首批搭載 NVIDIA RTX Spark N1X 超級晶片的本地智慧體 AIPC。N1X 整合最高 6144 核 Blackwell RTX GPU 與 20 核 Grace CPU,端側算力達 1 Petaflop FP4,整機最高 128GB 統一記憶體、2TB 儲存、80W 滿功耗,可本地執行超千億引數大模型,並出廠預裝 35B 本地模型。
NVIDIA 將於 10 月 16 日正式發布 RTX Spark,一款面向創作者、玩家和 AI agent 的 Windows PC,主打本地 AI 效能。Tom's Hardware、TrustedReviews 等媒體評測稱其遊戲與本地 AI 表現突出,Artificial Analysis 也提供了獨立測試資料。當天舊金山、柏林、臺北、北京、首爾、伊斯坦布林等地舉辦發布活動,多數需提前報名,北京場通過微信報名。
llama.cpp 發布 b11555,修復了在支援 F16C 的 AVX2 CPU 上未啟用 F16C 的問題,可改善 x86 平台的 CPU 推理表現。同步更新的預編譯包覆蓋 macOS Apple Silicon、Windows 與 Linux 的 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO,以及 Android、openEuler 等平台;
OpenAI 產品負責人 Tibo Sottiaux 發帖預告未來模型會更擅長刪除和簡化程式碼,並在評論中確認 Astra 6.1「coming soon」。負責 coding post-training 的研究員 Rajan Agarwal 轉發該帖,並公開徵集使用者遇到的 sloppy code 與程式碼品質問題。《華爾街日報》此前報導,Astra 6.1 原計劃 10 月發布,因內部安全測試中在權限邊界上表現不穩而被臨時叫停。
OpenCode 1.19.2 把 1.x 固定在 1.x 發布線上:更新檢查只讀取 npm 上 opencode-ai 的 latest 版本,1.x 安裝不會再被當作常規更新推送到 2.x。升級到 OpenCode 2 需顯式操作,走 /update 中的 2.0 入口或執行 opencode upgrade --major。
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重,輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3,LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s;解碼受 DRAM 頻寬限制,實測跑到峰值的 82%-94%。
Pi 1.1.0 發布,新增對 Claude Haiku 5.5(anthropic/claude-haiku-5-5)的支援,自適應思考可開到 xhigh/max,並在 Bedrock 上啟用提示快取。同時加入 OSC 7501 程式狀態上報,支援的終端與 agent 面板可看到 Pi 正在工作、被對話方塊或登入阻塞、完成還是失敗。
Codex 0.161.0 將 GPT-6.1 Sol 設為內建目錄與 Amazon Bedrock 目錄的預設模型。Amazon Bedrock 在相容模型上支援多智慧體 V2 與 Ultra 推理,Bedrock Mantle 也開始接受 AWS GovCloud 區域;終端會話可用 /mcp login <name> 登入 MCP 伺服器,語音對話可自選麥克風、揚聲器與輸入聲道並本地儲存偏好。
DeepSeek 發布 DeepSeek-V4.1-Flash-1017,該模型通過帶自我反饋的強化學習提升端到端專案開發能力,覆蓋從遊戲製作到 3D 建模的完整流程。官方以演示形式展示實際效果,未在帖文中給出引數規模、上下文長度或 API 價格等資訊。
llama.cpp 發布 b11402 版本,CUDA 後端改為優先採用整塊(whole-tile)FlashAttention 排程,以提升兩階段核心效率。
llama.cpp 發布 b11382 版本,為 WebGPU 後端的 fill/set_rows 操作加入 f16 支援(PR #29897)。該版本同時更新了覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的多平台建置產物,包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU…
llama.cpp 合併 PR #29570,在 Metal 後端為 F16 KV 快取加入基於張量 API 的 flash attention 核心。該核心覆蓋 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等配置,並支援 attention sinks、ALiBi 與 logit softcap。改動隨 b11362 建置發布,覆蓋 macOS Apple Silicon、iOS 及 Linux、Windows、Android 等多平台建置。
DeepSeek 發布 DeepSeek-V4.1-Flash-1017,是 DeepSeek-V4.1-Flash 的小版本更新,權重以 MIT 許可開放。官方稱其在推理、程式設計、Agent 與視覺基準上均有提升,同時縮短任務執行時間與輸出長度:Terminal-Bench 4.0 從 31.2 升至 42.3,Apex Bench v1.1 從 64.6 升至 72.1,HLE(無工具)從 36.8 升至 42.6。
0.162.1 發布,修復了 TUI 在非同步問題包含多行時的崩潰,現在會保留換行和完整的超連結地址。另一項修復針對執行中的後臺伺服器特性設定與 CLI 預設值不一致導致的啟動失敗,相容性檢查此後只對命令列中顯式指定的特性覆蓋生效。完整變更記錄為 rust-v0.162.0...rust-v0.162.1。
DeepSeek 發布新模型 DeepSeek-V4.1-Flash-1017,已在官網、App 和 API 上線。官方稱其基準測試表現更強、任務完成更快、輸出更短,在效能與成本上屬於帕累托改進。該模型針對 DeepSeek Harness、騰訊 CodeBuddy、WorkBuddy 等做了最佳化,DeepSeek Harness 需升級到 v0.2.1-rc.1 或更高版本以獲得最佳體驗。
Apertus 1.5 發布,在 8B 與 70B 兩個尺寸上新增影像與音訊理解、可選思考模式,上下文視窗擴至 262,144 token,為 1.0 的 4 倍。權重已於 2026 年 7 月 24 日以 Apache 2.0 許可上傳 Hugging Face,技術報告同步公開。模型由第一代繼續預訓練而來,8B 增加 4 萬億 token、70B 增加 2 萬億,總量分別達 19T 與 17T。
PS5LM 把 llama.cpp 的 Vulkan 後端搬到越獄 PS5 的 RDNA 2 GPU 上,用 11.4 GB 共享記憶體把主機變成家用模型伺服器,對外提供 OpenAI 與 Anthropic 介面,Claude Code 等客戶端可直接連。實測 Qwen 3.5 9B Q4_K_M 約 55 tokens/秒,27B 的 UD-Q2_K_XL 約 20 tokens/秒、64k 上下文;
llama.cpp 最新建置 b11645 為 Metal 後端的張量 API flash attention 核心加入了 BF16 變體,主要面向 Apple Silicon 上的 macOS 與 iOS。同一提交還把張量 FA 核心遷移到 kernels/fa_tensor.metal。
Google DeepMind 正式發布 Nano Banana 2.1,底層由 Gemini 3.6 Flash 驅動,模型 ID 為 gemini-nano-banana-2.1,已作為穩定模型上線 Gemini App、AI Studio、Gemini API、Search AI Mode、Google Ads、Flow 與 Stitch。新版定位高效率影像生成與對話式編輯,支援 1K/2K/4K 輸出、最多 14 張參考圖融合,重點強化設計版式、蒙版區域性編輯和主體一致性;
Apple 開發者論壇出現帖子稱,macOS 15.8.2 更新破壞了 OpenGL,影響依賴該圖形介面的應用與工具。該話題已轉到 Hacker News 討論,目前 25 分、10 條評論;原帖未說明受影響的具體機型與軟體範圍,也沒有給出規避或修復方法。
DeepSeek 上線 DeepSeek-V4.1-Flash-1017,官方稱其基準測試更強、任務完成更快、輸出更短,在效能與成本上實現帕累托改進,已在官網、App 和 API 提供,並在 Hugging Face 與 ModelScope 開源。該模型針對 DeepSeek Harness、騰訊 CodeBuddy、WorkBuddy 等最佳化,需升級到 DeepSeek Harness v0.2.1-rc.1 及以上獲得最佳體驗。
DeepSeek 上線 V4.1 Flash 的 10 月 17 日快照版 V4.1 Flash 1017,這是首個基於自研 Causal Encoder-Decoder(CED)架構的稀疏 MoE 模型:552B 總引數,輸入啟用 8B、輸出啟用 16B,影像理解原生內建。
llama.cpp 合併 PR #30296,把 CPU 上的 AVX2 分塊累加器(tiled accumulators)歸併處理,用於最佳化 x86 CPU 推理,改動由 Codex 協助完成。同版本 b11688 放出多平台預編譯建置,覆蓋 macOS Apple Silicon 與 Intel、iOS、Linux、Windows、Android、openEuler,含 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端。
OpenCode 發布 v1.19.0,使用者可通過 opencode upgrade --major 升級到 OpenCode 2;TUI 內改用 /update 來安裝更新或完成升級,更新不再自動安裝。本次還允許使用 OpenAI ultrafast 服務層級,並在檢查 PTY 是否存在前先校驗 PTY 連線來源與票據。另有社群貢獻者提交 Exo 用量統計歸屬修復及 Zen 文件條目增刪。
Qwen3.8-27B 已在 iPhone 18 的 Apple Neural Engine 上執行,解碼速度 15–60 tok/s;作者隨後確認 24K 上下文下 K/V 用 int8、delta net 保持 FP16,峰值可達 70 tok/s。模型基座是 PrismML 的 Bonsai-2,從 1.585 bpw 重新量化為 1.5 bpw(每 4 個權重 6 位向量量化),並加入約 2.8 bpw 的 dflash-2 草稿模型加速,代價是接受率小幅下降。