依意思最接近的 30 筆
近期出現一批極窄用途的推理執行時，包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性，只針對少數模型甚至單一硬體家族（如 Strix Halo）做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態，並有助於智慧的民主化與去中心化，讓現有硬體在特定配置下榨出最大輸出。
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重，輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3，LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s；解碼受 DRAM 頻寬限制，實測跑到峰值的 82%-94%。
阿里通義千問官方帳號轉發並祝賀 LightSeek 的 TokenSpeed 推理成績：Qwen3.8-Flash-Next 在輝達 GPU 上實現單使用者 685 output tokens/s。官方稱該結果令人印象深刻，並表示期待社群繼續釋放 Qwen 的推理潛力。這一數字指向 Qwen3.8-Flash-Next 在推理側的吞吐表現。
崑崙萬維發布並開源 Matrix-Game 4.0，稱其為全球首個可在消費級顯示卡上即時執行的影片大模型遊戲。基於 Wan2.2 5B 改造，單張 RTX 5090 上以 480p 實現 60 FPS 遊戲執行，按鍵到畫面端到端延遲低於 150ms，1 步去噪穩態生成 83 FPS，視訊記憶體峰值約 18.5 GiB。作為對比，輝達同期 StreamRender-H3 需 8 張 GB200，互動延遲約 500ms。開源內容包括模型權重和可由開發者直接修改、擴充套件的遊戲程式碼。
AI 實驗室 Third Moment Research 藉助 OpenAI 的 GPT-6 Astra、GPT-6.1 Sol 與 Codex，可同時執行 1 萬個 agent，單次自主研究持續 36–48 小時。Codex 曾定位量化回測瓶頸並部署快取與記憶體打包最佳化，把一年美股訂單級資料的回測從約 3 小時縮短到 3–5 分鐘，回測時間減少 97%。
崑崙萬維旗下 Skywork AI 發布並開源遊戲世界模型 Matrix-Game 4.0，稱其為全球首款可在單張消費級顯示卡上即時執行的遊戲世界模型。它在 RTX 5090 上以 60 FPS、480p 畫質執行，按鍵到畫面回應不到 0.15 秒，視訊記憶體峰值約 18.5GiB。做法是把世界狀態與遊戲規則交給遊戲引擎維護，影片模型只負責生成畫面，Coding Agent 可用自然語言改寫遊戲程式碼，例如把計時賽變成追擊戰。
蘋果與卡內基梅隆大學提出 SSR 框架，讓多模態搜尋 Agent 不再逐 token 生成自由形式推理，而是從 6 條預定義推理選項中做選擇題。在 7 個多模態搜尋 benchmark 上，每輪推理延遲降低超過 90%，每題總推理延遲降低 28–54%，p95 推理延遲僅 0.07 秒；4B 模型平均成功率 61.37%，與同規模 SOTA 持平，2B 達 51.26%。推理選擇由模型自身打分完成，不需要額外分類頭，也可跳過 SFT warm start 直接接 RL 訓練。
企業語音 AI 平台 PolyAI 的 CTO Shawn Wen 在 HumanX 大會上表示，全雙工模型雖已實現，語音 AI 仍未迎來自己的「ChatGPT 時刻」，下一步的關鍵是讓推理足夠快、對話足夠自然。會議記錄工具 Otter 的 CMO Alex Gay 指出，說話人識別、意圖捕捉並與組織知識結合才是自動化的關鍵，Otter 還在研發可代表參會者的數字孿生。兩人都提到 ASR 模型常漏掉關鍵詞，轉寫不準會讓後續動作全部出錯、使用者失去信任；
作者發布專為 RTX5090 打造的推理引擎 MegaCapybara，聚焦 Qwen3.8 27B，解碼速度約為此前 SOTA 引擎 Ninfer 的兩倍：單任務編碼可達 500+ t/s，12 個 agent 併發、800k 上下文時可達 2000+ t/s。引擎具備 VRAM-RAM-DISC 快取管理、雙層 Loop Guard、帶後設資料的自研權重格式（可對比 BF16 顯示 KL 與 top-1% 損失）以及圖形介面，採用 MIT 許可，原始碼與權重建置器後續發布。
Anthropic 的 Cowork 新版本把模型推理和 VM 都放到雲端執行，每個會話獲得獨立沙箱，不與其他會話共享狀態。舊版本只在雲端做推理，工具呼叫由 Anthropic 隨桌面端下發的本地 VM 執行，使用者抱怨磁碟、電量和效能開銷，且合上筆記本工作就會停止。新架構下當雲端 VM 需要使用者裝置上的檔案時，由桌面應用負責該檔案訪問的工具呼叫。官方稱這解決了用手機使用 Cowork、任務持續執行以及不犧牲電池等問題。
Frontier Red Team 的實驗顯示，小型 AI 模型可能再過數月就能在智慧烤箱、雜牌 Android TV 盒子等商用 IoT 裝置上自我複製：這類複製體沒有集中的關停點、倍增時間為數天，還能自行摸清陌生硬體，測試中 9B 模型在 9 類硬體裡有 8 類成功跑起推理。研究把複製拆為尋找目標、獲得執行、建立推理、繼續傳播四步，30B 以下模型已能完成多數單步但端到端串聯仍會出錯，簡化評測中 GLM-5.2 及更強模型可端到端複製。
Google AI Edge 推出 ML Drift，一個面向端側 AI 與機器學習推理的高效能通用 GPU 計算框架。它把 OpenGL ES、OpenCL、Metal、WebGPU 等底層硬體與圖形計算 API 抽象掉，讓開發者無需直接處理這些介面，就能在移動端與桌面端建置即時互動式 ML 體驗，覆蓋從複雜影片特效到生成式 AI 的場景。
Intel 公布面向 agentic AI 的資料中心推理 GPU D270，單卡最高 480GB LPDDR5X 記憶體，350W 風冷，不依賴 HBM。晶片面積從圖形與光追管線轉向 32 個 Xe3P 核心和 256 個 XMX 矩陣引擎，用於加速長上下文、多輪 agent 工作流的 prefill 與高併發服務。
NVIDIA 與微軟在舊金山活動上發布 RTX Spark，把完整 NVIDIA AI 棧裝進 Windows 筆記本與緊湊桌上型電腦，筆記本即日預售、10 月 16 日發售，桌上型電腦 11 月上市。
Anthropic 週一發布研究報告，稱可自我複製的 AI 蠕蟲可能數月內就具備在 IoT 裝置上擴散的能力。報告稱 90 億引數模型在 9 類硬體中的 8 類上成功部署推理，Gemma4-26B-A4B 分散跑在 15 臺安卓電視盒上僅 0.39 tokens/秒；GLM-5.2 成功向 8 個安卓 15 模擬器節點傳播 Llama3.1-8B，5 次試驗中 4 次全部成功。
GPT-6 Astra Ultrafast 已在 OpenAI API 上線，並向符合條件的 ChatGPT Work 與 Codex 使用者開放，執行在 NVIDIA Blackwell GPU 上。官方稱其 token 生成速度最高可達 Astra Standard 模式的 8 倍，可縮短 coding agent 的編輯—測試—除錯迴圈，並減少工具呼叫之間的等待。開發者可通過 API 使用，訪問方式、價格與實現細節見 Ultrafast 指南。
開發者 roofkid 發布 Ninfer 4080，在 RTX 4080 16GB 上以 100k 上下文執行 ISTA-DASLab-Qwen-3.8-27B-GSQ，實測最高 prefill 2720 tok/s、生成 262 tok/s。專案採用 DFlash2 推測解碼與 KV 壓縮，程式碼已在 GitHub 開源並提供 Docker 映象。
Ricursive Intelligence 兩位創始人在 TechCrunch Disrupt 上介紹，公司正開發能自行設計晶片、從每次迭代中學習並改進後續設計的 AI，目標是自動化並加速晶片設計流程。創始人 Anna Goldie 與 Azalia Mirhoseini 稱未來五年算力需求至少增長 10000 倍，與其建 10000 倍資料中心，不如讓晶片和晶圓用得更高效；
推理框架 v0.32.0 發布，最值得注意的是新增 meta-models/Muse-Spark-Open-816B-A42B-NVFP4 模型支援，併為 NVFP4 量化 MoE 加入全域性縮放。同版本還新增 MiniCPM5 工具呼叫解析器、Hadamard 旋轉的 2-bit Qwen3.5（prism_hadamard_qwen35）、Qwen3.5 並行 head，並支援未轉換的模型權重。
Cloudflare 推出開源權重決策模型 Clef-omni，能在一次 API 呼叫中同時接收音訊（wav/mp3）、影片（mp4/webm）、影像和文字輸入，模型基於 Qwen3-Omni-30B-A3B-Instruct 的 MoE 架構訓練 LoRA，權重已發布在 HuggingFace。官方稱純文字決策中位延遲約 130 毫秒、影像約 150 毫秒、音訊數百毫秒，含聲音的 21 秒影片約 1.5 秒。
維吉尼亞理工、威斯康辛大學麥迪遜分校與達特茅斯學院團隊在 NeurIPS 2026 提出 SAGE，用結構訊號引導長程推理的後訓練。方法以符號閉包分析（SCA）解釋探索偏差與累積偏差，訓練時用代數稀疏化和雙曲結構引導重排候選推理步，在 12 個基準、7 個模型家族上總體優於 SFT、GRPO、EMPO 與 GRPO-PRM。在 1,190 個 Andrews–Curtis 長程例項上，Qwen3 的 Lean 驗證通過率接近基礎模型的 8 倍；
NVIDIA 將於 10 月 16 日正式發布 RTX Spark，一款面向創作者、玩家和 AI agent 的 Windows PC，主打本地 AI 效能。Tom's Hardware、TrustedReviews 等媒體評測稱其遊戲與本地 AI 表現突出，Artificial Analysis 也提供了獨立測試資料。當天舊金山、柏林、臺北、北京、首爾、伊斯坦布林等地舉辦發布活動，多數需提前報名，北京場通過微信報名。
新的 C 語言推理引擎 Janas-LLM 把 MoE 權重留在磁碟、按 token 從 NVMe SSD 流式讀取專家，在 32 GB 記憶體的筆記本上跑起了 48.4 GB 的 Qwen3-Next-80B。
OpenAI Codex 負責人 Tibo 的 28 天計劃首日，官方宣布 GPT-6 Astra 與 GPT-6.1 Sol 預設推理速度提升約 50%、達 50TPS，覆蓋官方訂閱及 OpenCode、Amp 等第三方接入，但網友實測僅約 35TPS。同期 OpenAI 在 ChatGPT 影像生成中測試視覺廣告，並將在幾週內為歐盟地區 ChatGPT 和 Codex 生成的文字加隱形水印。
聯想 YOGA Pro 15 RTX Spark 於 10 月 8 日 9:00 開啟全網盲約，為全球首批搭載 NVIDIA RTX Spark N1X 超級晶片的本地智慧體 AIPC。N1X 整合最高 6144 核 Blackwell RTX GPU 與 20 核 Grace CPU，端側算力達 1 Petaflop FP4，整機最高 128GB 統一記憶體、2TB 儲存、80W 滿功耗，可本地執行超千億引數大模型，並出廠預裝 35B 本地模型。
OpenAI 於 2026 年 10 月 6 日發布由內部前沿模型產出的多項數學結果，以 GitHub 倉庫形式公開，併為其中許多證明提供 Lean 形式化驗證。倉庫同時給出 10 份模型推理摘要、以 ChatGPT Pro 用量折算的算力估算，以及嘗試題目數量的統計，平均每個結果約消耗相當於 3 小時 ChatGPT Pro 思考的算力。
輝達宣布計劃投資 Doctolib、Entalpic、Genesis AI 和 Pigment 四家法國初創，方向分別是醫療智慧體、原子級材料工程、通用機器人和企業規劃平台。輝達稱其在歐洲技術生態的累計承諾投入已接近 100 億美元，此前還投資過 Alice&Bob、Gradium 和 Scintil Photonics。
OpenAI 發布 GPT-6.1 Sol 的 Ultrafast 模式，官方稱智慧水平與標準版一致、仍逼近旗艦 Astra，但速度是標準版的 8 倍。其 API 定價為每百萬輸入 token 12 美元、輸出 60 美元，是標準版（2 美元 / 10 美元）的 6 倍，API 呼叫不受訂閱等級限制。
Anthropic 在 AI Engineer NYC 2026 上介紹了上週五發布的動態工作流（flows），一種讓 Claude 自行決定多智慧體拓撲的編排方式。此前 Claude Managed Agents 需要開發者手動配置協調者與子智慧體名單，現在由主智慧體制定計劃、編寫編排程式，負責啟動智慧體、收集結果與管理資訊流，並可在 Claude Console 中通過圖形介面檢視每次傳遞的內容。
Hugging Face 的 yuvraj sharma 用 HuggingChat 裡的 ML Intern agent，幾天內做出 6 個公開模型，其中把 Qwen-Image 2.1 自帶的 9B 提示改寫器蒸餾成 0.8B 版本，可在 CPU 執行，輸出有效率 99.7%，token 消耗約為教師模型的四分之一。該專案含 9B 模型標註 8,797 條樣本，算力成本 16 美元。