依意思最接近的 30 筆
近期出現一批極窄用途的推理執行時，包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性，只針對少數模型甚至單一硬體家族（如 Strix Halo）做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態，並有助於智慧的民主化與去中心化，讓現有硬體在特定配置下榨出最大輸出。
Ricursive Intelligence 兩位創始人在 TechCrunch Disrupt 上介紹，公司正開發能自行設計晶片、從每次迭代中學習並改進後續設計的 AI，目標是自動化並加速晶片設計流程。創始人 Anna Goldie 與 Azalia Mirhoseini 稱未來五年算力需求至少增長 10000 倍，與其建 10000 倍資料中心，不如讓晶片和晶圓用得更高效；
Google Research 補全了 32 位開源 Coral NPU 的 RISC-V 架構，新增 Matrix Execution Unit 後邊緣推理最高 1 TOPS，平均功耗目標 10 mW。同步釋出 v1.0 開源 IREE/MLIR 編譯器，JAX、PyTorch、TensorFlow 模型可直接編譯到 Coral NPU，不必手寫彙編，從模型到晶片共用一條開源工具鏈。
無問芯穹（Infinigence AI）在輝達研究院的 GPU 運算元效能評測榜 SOL-ExecBench 上先後登頂 L1 基礎運算元、L2 融合運算元、Quant 量化與 FlashInfer-Bench 推理全部四大賽道；截至 10 月 26 日仍在 L1 與 Quant 兩賽道總分全球第一，在 235 道題中拿下 88 項單題第一，超過第二名單題第一數量的 2 倍，其中 L2 賽道的 82 道題中佔了 39 項第一。
微軟發布第三代自研 AI 晶片 Maia 300，將其定位為微軟產品與服務的主要 AI 推理系統，計劃 2027 年開始投入生產部署。微軟雲業務執行副總裁 Scott Guthrie 表示，相比主流的 GPU 系統，Maia 300 每兆瓦可多輸出 40% 的 token，並更能應對最新的推理模型與 agentic 任務。該晶片的設計目標是提升雲端 AI 工作負載的成本與效率，減少對 Nvidia GPU 的依賴。
Intel 公布面向 agentic AI 的資料中心推理 GPU D270，單卡最高 480GB LPDDR5X 記憶體，350W 風冷，不依賴 HBM。晶片面積從圖形與光追管線轉向 32 個 Xe3P 核心和 256 個 XMX 矩陣引擎，用於加速長上下文、多輪 agent 工作流的 prefill 與高併發服務。
DeepSeek 開源了生產推理棧 DeepInfer，它基於 vLLM 定製、採用 Apache 2.0 許可，支援最長 72 小時 prompt 快取、投機解碼與結構化輸出，相容 NVIDIA 與華為昇騰。官方稱單叢集日處理 155 萬億 token、輸入快取命中率 96%、首 token 延遲 400ms、生成速度 230 token/s，按非高峰電價折算單卡每小時收入 38 美元，毛利率超過 80%、回本週期 81 天。不過 KV 快取管理與負載均衡仍未開源；
復旦與華為小藝提出 SAGE，面向昇騰 NPU 的運算元生成成功率達 95.5%。SAGE 把知識冷啟動、工具增強診斷和經驗學習串成閉環：冷啟動用 Ascend C 速查表、除錯指南與實現範例，並通過生成實現和專家實現的差分挖掘可複用模式；診斷階段讓 Agent 自主呼叫除錯與 profiling 工具定位中間張量異常和效能瓶頸。經驗學習用 ATU 只給實際被採用的經驗分配測試反饋，並把反覆有效的規則沉澱為熱記憶。
銘芯啟睿（MemSilicon）10 月 12 日宣布完成國際首款 1T4R 結構的 1Gb RRAM 晶片「泰山一號」流片，採用 28nm CMOS 工藝。該晶片密度達 30Mb/mm²，訪問延時小於 20ns，並整合片上硬體糾錯電路，目前正在推進驗證。公司另佈局嵌入式 RRAM IP 與 RRAM+DRAM 混合存算兩條產品線，面向顯示驅動、MCU 及端側推理等場景。
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重，輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3，LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s；解碼受 DRAM 頻寬限制，實測跑到峰值的 82%-94%。
無問芯穹完成 23 億元 C 輪融資，累計融資 43 億元，單輪與累計均創國產 AI Infra 賽道新紀錄。這家公司不做模型和應用，而是做模型與晶片之間的中間層，已適配輝達、AMD、華為昇騰等 16 種晶片，服務 37000P 算力，還完成過 700 億引數大模型的異構晶片混訓。其大模型服務平台日均 Token 使用量半年漲超 40 倍，95% 以上推理任務來自 Agent；另據彭博社報導，公司已以保密形式向港交所遞交 IPO 申請。
10 月 16 日，範式智慧聯合睿思智聯發布一站式生產級 AI 部署平台模域（ModelSphere），面向企業免費開源，以 Apache 2.0 協議在 GitHub 上線。平台把算力管理、模型部署與執行最佳化整合為統一流程，可統一混合排程華為昇騰、天數智芯、摩爾線程、海光 DCU 等國產晶片，無需為不同晶片重寫底層程式碼。
蘋果與卡內基梅隆大學提出 SSR 框架，讓多模態搜尋 Agent 不再逐 token 生成自由形式推理，而是從 6 條預定義推理選項中做選擇題。在 7 個多模態搜尋 benchmark 上，每輪推理延遲降低超過 90%，每題總推理延遲降低 28–54%，p95 推理延遲僅 0.07 秒；4B 模型平均成功率 61.37%，與同規模 SOTA 持平，2B 達 51.26%。推理選擇由模型自身打分完成，不需要額外分類頭，也可跳過 SFT warm start 直接接 RL 訓練。
一篇新論文提出 Minions：把多臺 macOS 裝置上閒置的 Apple Silicon GPU 聚合成分散式虛擬 GPU 雲，用來跑大規模機器學習推理。作者認為集中式 GPU 基礎設施成本高、彈性有限、資源緊張時等待時間長，而 Apple Silicon 裝置的 GPU 在日常使用中大多處於空閒狀態。論文稱該方案讓團隊能夠利用現有裝置承載推理負載，具體排程方式與效能資料未在摘要中給出。
2026 年 10 月 12 日，銘芯啟睿宣布完成首代高密度、大容量 RRAM 晶片“泰山一號”流片，採用 28nm CMOS 工藝與 1T4R 單元結構，單晶片容量 1Gb，密度 30Mb/mm²，訪問延時小於 20ns，並整合片上硬體糾錯電路。該路線讓一個選擇電晶體對應四個阻變儲存單元，以降低每單元電晶體面積開銷，被稱為國際首款高密度大容量 1T4R 1Gb RRAM 晶片。目前該晶片已完成流片，正在推進驗證。
Google AI Edge 推出 ML Drift，一個面向端側 AI 與機器學習推理的高效能通用 GPU 計算框架。它把 OpenGL ES、OpenCL、Metal、WebGPU 等底層硬體與圖形計算 API 抽象掉，讓開發者無需直接處理這些介面，就能在移動端與桌面端建置即時互動式 ML 體驗，覆蓋從複雜影片特效到生成式 AI 的場景。
Cerebras 聯合創始人兼 CEO Andrew Feldman 在 TechCrunch Disrupt 2026 上稱，人人家裡都有一臺 AI 裝置的未來並不遙遠，個人 AI 助理會像手機一樣部分在本地執行、部分回到雲端。他預計這些助理會非常瞭解使用者、擁有獨立的安全邊界，還能接入信用卡代為購物。Feldman 自己已用一組 agent 整理日程、準備通話物件的背景資料，但他表示消費級創意留給其他創業者，Cerebras 只做平台。
微軟與輝達在舊金山為首批 RTX Spark 筆記本舉辦發表會，這是輝達新的 AI PC 計算平台。其晶片採用 Arm 架構，而非 AMD、Intel 傳統的 x64，並搭配高效能 GPU，定位面向 AI 的 Windows 筆記本。微軟與輝達為此投入大量工作，讓 Windows 適配這批新機器。
高通已同意獲得華為 LogicFolding 晶片製造技術相關專利的授權，這是兩家晶片廠商多年期交叉授權協議的一部分，覆蓋 5G 裝置、AI 服務、近封裝與共封裝光學及網路等技術。華為發言人週一確認了該協議。彭博報導稱，這對華為及其拓展海外 AI 市場是一大利好。
德國聯邦政府與輝達簽署意向宣告，將聯合推進面向物理 AI 的前沿模型，並對接德國“工業 4.0 平台”。黃仁勳同時宣布投資 Agile Robots、Avelios Medical、Mirelo、Reflex Aerospace 四家德國初創，屬於其在歐洲近 100 億美元投入的一部分。西門子同日宣布與輝達合作推進自主工廠，全虛擬產線除錯可減少最多 85% 的工程工作量，基於智慧體的生產規劃最高可降本 20%。
VentureBeat Intelligence 在 2026 年 7 至 9 月的三輪調研（385 名受訪者）顯示，79% 的企業表示其 GPU 至少一半時間完全閒置，這一比例三個月穩定在 77% 至 81%。但在這批企業中，70% 仍計劃未來 12 個月引入、擴充或更換 AI 計算平台；計劃採用新平台的受訪者中有 91% 拿不出經財務部門稽核的 ROI 資料。新採購意向中 90% 投向公有云與模型 API，僅 8% 考慮擴建本地私有叢集。
Anthropic 的 Cowork 新版本把模型推理和 VM 都放到雲端執行，每個會話獲得獨立沙箱，不與其他會話共享狀態。舊版本只在雲端做推理，工具呼叫由 Anthropic 隨桌面端下發的本地 VM 執行，使用者抱怨磁碟、電量和效能開銷，且合上筆記本工作就會停止。新架構下當雲端 VM 需要使用者裝置上的檔案時，由桌面應用負責該檔案訪問的工具呼叫。官方稱這解決了用手機使用 Cowork、任務持續執行以及不犧牲電池等問題。
蘋果發布新款 iPad mini，搭載 2nm 工藝 A20 Pro，官方稱 AI 效能較上代最高提升 4.5 倍，可用於執行本地大模型。512GB 版本配備雙 16 核神經網路引擎、合計 32 核，統一記憶體頻寬提升逾 2 倍，GPU 每顆核心內建神經加速器。
DeepSeek 以 Apache 2.0 協議開源了支撐其大規模生產服務的推理框架 DeepInfer，目前僅支援 DeepSeek-V4.1-Flash 一個模型。該框架包含 FlashMLA、DeepGEMM、DeepEP 等最佳化核心，Attention DP 與 MoE EP+EPLB 並行，DSpark 投機解碼（草稿長度預設 5），以及預設開啟的非同步排程、批不變推理、確定性取樣，並支援正則、JSON schema、EBNF 結構化輸出。
Anthropic 週一發布研究報告，稱可自我複製的 AI 蠕蟲可能數月內就具備在 IoT 裝置上擴散的能力。報告稱 90 億引數模型在 9 類硬體中的 8 類上成功部署推理，Gemma4-26B-A4B 分散跑在 15 臺安卓電視盒上僅 0.39 tokens/秒；GLM-5.2 成功向 8 個安卓 15 模擬器節點傳播 Llama3.1-8B，5 次試驗中 4 次全部成功。
企業語音 AI 平台 PolyAI 的 CTO Shawn Wen 在 HumanX 大會上表示，全雙工模型雖已實現，語音 AI 仍未迎來自己的「ChatGPT 時刻」，下一步的關鍵是讓推理足夠快、對話足夠自然。會議記錄工具 Otter 的 CMO Alex Gay 指出，說話人識別、意圖捕捉並與組織知識結合才是自動化的關鍵，Otter 還在研發可代表參會者的數字孿生。兩人都提到 ASR 模型常漏掉關鍵詞，轉寫不準會讓後續動作全部出錯、使用者失去信任；
Minotaur 這套不依賴語言模型、也不用 GPU 的 AI 架構，能完成演繹、歸納、溯因、診斷、實驗選擇與信念修正等多種推理，全部由單個網路、單個普通 CPU 核心完成，每題約 0.25 秒。在由從未看過其程式碼的人設計的盲測中，它在一道“提問會改變證人記憶”的警方訊問推理題，以及僅憑資料學習、診斷和預測系統兩項上，與當前語言模型表現持平。文章還回顧了邏輯理論家、通用問題求解器、專家系統、Prolog 與日本第五代計算機專案等前語言模型路線各自的止步之處。
NVIDIA 發布 AIOps 平台 Minerva，為 AI 工廠提供端到端可觀測性。它把 GPU、網路、儲存、排程器與工作負載的遙測匯入動態知識圖譜，每小時分析數十億資料點，用於發現異常、預測故障並把告警風暴聚合為帶根因的事件；平台還內建 AI 助手，可連線外部 agentic 工具，目標是提升 GPU 正常執行時間與 AI 工廠產出。
AWS 發布開發工具 TorchNeuron，用 PyTorch 寫的 AI 應用只需改一行配置即可跑在自研晶片 Trainium 上，無需重寫程式碼。AWS 稱約 85% 的 AI 應用基於 PyTorch，熟悉 PyTorch 的開發者可直接上手。亞馬遜還會把解耦 PyTorch 與特定晶片的程式碼回饋上游，推動框架硬體無關；Trainium 兼顧訓練與推理，AWS 強調價效比，語音 AI 公司 Deepgram 遷移後每美元處理音訊量提升 70%。
維吉尼亞理工、威斯康辛大學麥迪遜分校與達特茅斯學院團隊在 NeurIPS 2026 提出 SAGE，用結構訊號引導長程推理的後訓練。方法以符號閉包分析（SCA）解釋探索偏差與累積偏差，訓練時用代數稀疏化和雙曲結構引導重排候選推理步，在 12 個基準、7 個模型家族上總體優於 SFT、GRPO、EMPO 與 GRPO-PRM。在 1,190 個 Andrews–Curtis 長程例項上，Qwen3 的 Lean 驗證通過率接近基礎模型的 8 倍；