專用推理引擎興起,放棄通用性換極致效能
近期出現一批極窄用途的推理執行時,包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性,只針對少數模型甚至單一硬體家族(如 Strix Halo)做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態,並有助於智慧的民主化與去中心化,讓現有硬體在特定配置下榨出最大輸出。
依意思最接近的 30 筆
近期出現一批極窄用途的推理執行時,包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性,只針對少數模型甚至單一硬體家族(如 Strix Halo)做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態,並有助於智慧的民主化與去中心化,讓現有硬體在特定配置下榨出最大輸出。
Ricursive Intelligence 兩位創始人在 TechCrunch Disrupt 上介紹,公司正開發能自行設計晶片、從每次迭代中學習並改進後續設計的 AI,目標是自動化並加速晶片設計流程。創始人 Anna Goldie 與 Azalia Mirhoseini 稱未來五年算力需求至少增長 10000 倍,與其建 10000 倍資料中心,不如讓晶片和晶圓用得更高效;
Intel 公布面向 agentic AI 的資料中心推理 GPU D270,單卡最高 480GB LPDDR5X 記憶體,350W 風冷,不依賴 HBM。晶片面積從圖形與光追管線轉向 32 個 Xe3P 核心和 256 個 XMX 矩陣引擎,用於加速長上下文、多輪 agent 工作流的 prefill 與高併發服務。
Minotaur 這套不依賴語言模型、也不用 GPU 的 AI 架構,能完成演繹、歸納、溯因、診斷、實驗選擇與信念修正等多種推理,全部由單個網路、單個普通 CPU 核心完成,每題約 0.25 秒。在由從未看過其程式碼的人設計的盲測中,它在一道“提問會改變證人記憶”的警方訊問推理題,以及僅憑資料學習、診斷和預測系統兩項上,與當前語言模型表現持平。文章還回顧了邏輯理論家、通用問題求解器、專家系統、Prolog 與日本第五代計算機專案等前語言模型路線各自的止步之處。
AlphaGo 核心作者 Thore Graepel 在 MIT Technology Review 發文稱 LLM 不會推理,並已離開 Google DeepMind 創業做可審計的機器推理。他指出 AlphaGo 第 37 手是策略網路加搜尋機制的結果,而 LLM 的思維鏈仍只是預測下一個 token,缺少可檢查的認知狀態、知識與推理的分離,且常事後編造解釋。Yann LeCun 表示讚賞,認為真正推理必須涉及搜尋。
蘋果與卡內基梅隆大學提出 SSR 框架,讓多模態搜尋 Agent 不再逐 token 生成自由形式推理,而是從 6 條預定義推理選項中做選擇題。在 7 個多模態搜尋 benchmark 上,每輪推理延遲降低超過 90%,每題總推理延遲降低 28–54%,p95 推理延遲僅 0.07 秒;4B 模型平均成功率 61.37%,與同規模 SOTA 持平,2B 達 51.26%。推理選擇由模型自身打分完成,不需要額外分類頭,也可跳過 SFT warm start 直接接 RL 訓練。
Google Research 補全了 32 位開源 Coral NPU 的 RISC-V 架構,新增 Matrix Execution Unit 後邊緣推理最高 1 TOPS,平均功耗目標 10 mW。同步釋出 v1.0 開源 IREE/MLIR 編譯器,JAX、PyTorch、TensorFlow 模型可直接編譯到 Coral NPU,不必手寫彙編,從模型到晶片共用一條開源工具鏈。
微軟發布第三代自研 AI 晶片 Maia 300,將其定位為微軟產品與服務的主要 AI 推理系統,計劃 2027 年開始投入生產部署。微軟雲業務執行副總裁 Scott Guthrie 表示,相比主流的 GPU 系統,Maia 300 每兆瓦可多輸出 40% 的 token,並更能應對最新的推理模型與 agentic 任務。該晶片的設計目標是提升雲端 AI 工作負載的成本與效率,減少對 Nvidia GPU 的依賴。
OpenAI 於 10 月 6 日一次性發布 372 項數學成果,其中包括 Subhash Khot 的 Unique Games 猜想證明,部分結果附有 Lean 證書,但並非全部。截至目前似乎還沒有人類讀懂這些證明,理解它們的競賽才剛剛開始。作者妻子、複雜度理論家 Dana Moshkovitz 長期研究 UGC,她稱論文寫得極差、必須靠 AI 輔助才能閱讀,證明構造出一種全新的遞迴編碼與噪聲測試。
OpenAI 開發者帳號 @OpenAIDevs 發布了一條演示:一款迷你推理遊戲跑在 M5Stack 的 stick 形態開發板上,玩家在遊戲中扮演偵探。帖文只有這一句話和展示本身,未說明所用模型、硬體具體型號,也沒有給出價格或獲取方式。
DeepSeek 開源了生產推理棧 DeepInfer,它基於 vLLM 定製、採用 Apache 2.0 許可,支援最長 72 小時 prompt 快取、投機解碼與結構化輸出,相容 NVIDIA 與華為昇騰。官方稱單叢集日處理 155 萬億 token、輸入快取命中率 96%、首 token 延遲 400ms、生成速度 230 token/s,按非高峰電價折算單卡每小時收入 38 美元,毛利率超過 80%、回本週期 81 天。不過 KV 快取管理與負載均衡仍未開源;
Cerebras 聯合創始人兼 CEO Andrew Feldman 在 TechCrunch Disrupt 2026 上稱,人人家裡都有一臺 AI 裝置的未來並不遙遠,個人 AI 助理會像手機一樣部分在本地執行、部分回到雲端。他預計這些助理會非常瞭解使用者、擁有獨立的安全邊界,還能接入信用卡代為購物。Feldman 自己已用一組 agent 整理日程、準備通話物件的背景資料,但他表示消費級創意留給其他創業者,Cerebras 只做平台。
Claude 在 123 個真實開源庫的 RISC-V 彙編層面生成了形式化安全證明,作者稱這是首次用 AI 把形式化驗證大規模應用到生產軟體。證明覆蓋所有小於 64 MB 的輸入:在單執行緒靜態二進位制、固定記憶體預算的 RISC-V 執行環境下,程式總能正常退出,不觸發記憶體安全錯誤或斷言失敗。寫證明的過程中 Claude 還發現了數萬億次測試都沒檢出的 bug;
軟體工程學者 Diomidis Spinellis 在部落格中判斷,AI 將接管大部分認知工作,思考會像狩獵、書法和木工一樣,從謀生手段變成休閒愛好。他給出三個驅動因素:效能更高、成本更低、可用性更高,並提到 OpenAI 內部模型已解決數百個此前未解的數學問題。文中還提到到 2030 年數萬億美元的資料中心投資將帶來更多算力,政府可能以監管和稅收限制 AI,但歷史上的類似舉措未能阻止技術革命;他建議保持靈活、跟上進展,並在工作之外建立有意義的生活。
一篇新論文提出 Minions:把多臺 macOS 裝置上閒置的 Apple Silicon GPU 聚合成分散式虛擬 GPU 雲,用來跑大規模機器學習推理。作者認為集中式 GPU 基礎設施成本高、彈性有限、資源緊張時等待時間長,而 Apple Silicon 裝置的 GPU 在日常使用中大多處於空閒狀態。論文稱該方案讓團隊能夠利用現有裝置承載推理負載,具體排程方式與效能資料未在摘要中給出。
DeepSeek 介紹 DeepInfer 推理引擎,包含高效能核心與最佳化推理引擎、分散式推理與投機解碼、SWA Bounded Replay 和結構化輸出。官方稱未來 DeepSeek 模型的推理程式碼及後續最佳化也將在此發布。帖文未給出效能資料、支援模型或上線時間。
銘芯啟睿(MemSilicon)10 月 12 日宣布完成國際首款 1T4R 結構的 1Gb RRAM 晶片「泰山一號」流片,採用 28nm CMOS 工藝。該晶片密度達 30Mb/mm²,訪問延時小於 20ns,並整合片上硬體糾錯電路,目前正在推進驗證。公司另佈局嵌入式 RRAM IP 與 RRAM+DRAM 混合存算兩條產品線,面向顯示驅動、MCU 及端側推理等場景。
OpenAI 公布 372 項數學與理論電腦科學成果,其中包括 Subhash Khot 的 Unique Games Conjecture(UGC)證明,推薦名單有 Timothy Gowers、Edward Witten 等數學家。UGC 意味著許多最佳化問題即使只想比半正定規劃鬆弛略好地近似,也是 NP-hard。部分成果附 Lean 證書,但幾乎所有證明尚未被人類理解;
Google AI Edge 推出 ML Drift,一個面向端側 AI 與機器學習推理的高效能通用 GPU 計算框架。它把 OpenGL ES、OpenCL、Metal、WebGPU 等底層硬體與圖形計算 API 抽象掉,讓開發者無需直接處理這些介面,就能在移動端與桌面端建置即時互動式 ML 體驗,覆蓋從複雜影片特效到生成式 AI 的場景。
數學家陶哲軒在 SAIR 演講中公開呼籲模型公司放慢數學研究節奏,稱 AI 無休止加速卻對後果一無所知,並稱之為 Proof Indigestion(證明消化不良):AI 只在生成解答與 Lean 驗證上狂飆,理解、評審、寫入教科書幾乎停滯。此前他與 25 位菲爾茲獎得主聯名發表公開信,批評把數學當 benchmark 刷分。OpenAI 隨後回應,宣布在普林斯頓高等研究院設立數學與人工智慧顧問小組,但宣告寫明該小組不就數學上的內部進展提供建議。
General Compute 完成 1 億美元 A 輪融資,由 Blackbird Ventures 與 Abstract Ventures 領投,投後估值 8 億美元,而 5 月種子輪後估值僅 6000 萬美元。這家 neocloud 不買 GPU,改用 SambaNova、Cerebras、Positron 的專用推理晶片搭雲,已靠一份年經常性收入 1 億美元的客戶合同鋪路,並與 SambaNova 簽下 4 億美元晶片採購。
復旦大學、騰訊混元與清華大學聯合發布 ExplorationBench,用兩套規則被改寫的「異星世界」AlienCode 和 AlienLogic,評測 AI 能否通過自主實驗發現規則。10 個前沿系統讀完範例後,在 AlienCode 上最高僅 15.7%,四輪探索後最好軌跡達 89.0%;若只讓模型多想、不給環境反饋,最高只有 11.0%。GPT-5.6 Sol 自主探索拿到 88.1%,而事先直接告知全部規則反而只有 69.5%,說明探索過程同時提升了規則的使用能力。
Sebastian Raschka 發布從零建置推理模型的影片課程,共 8 集、總時長超過 11 小時。課程以小型預訓練 Qwen3 模型為起點,用 Python 和 PyTorch 親手實現評估、推理時擴充套件、強化學習與蒸餾,可配合其《Build a Reasoning Model (From Scratch)》一書按章節同步練習。前置要求是熟悉 Python 與 PyTorch;早期文字生成與評測範例在 CPU 上即可執行,後續訓練實驗建議使用 GPU。
Gemini 4 Argon 發布,官方稱其在物理理解、程式碼生成與視覺語義推理上有跨越式提升,在考察 3D 物理空間問題理解的 Embodied Reasoning(ERQA)基準上用純推理拿到 87%,超過所有其他前沿模型。它被定位為通用物理推理模型,覆蓋機器人控制、Real2Sim、物理理解與研究自改進四個方向,官方給出了各方向的代表性提示詞。
Gemini 4 Argon 發布,官方稱其在物理理解、程式碼生成與視覺語義推理上有跨越式提升,在考察 3D 物理空間問題理解的 Embodied Reasoning(ERQA)基準上用純推理拿到 87%,超過所有其他前沿模型。它被定位為通用物理推理模型,覆蓋機器人控制、Real2Sim、物理理解與研究自改進四個方向,官方給出了各方向的代表性提示詞。
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重,輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3,LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s;解碼受 DRAM 頻寬限制,實測跑到峰值的 82%-94%。
10 月 21 日,OpenAI 聯合 PerturbAI 與 Scripps Research 公布:由新架構 GPT-Rosalind 驅動的數千個 AI 智慧體,在 32 分鐘內解析了約 772 萬行的小鼠全腦 CRISPR 擾動資料集,同類工作人類研究者需數月到一年。分散式叢集合計引用 700 餘篇文獻,而單智慧體受上下文視窗限制平均僅引用 11 篇;盲法專家比較中,75% 更偏好分散式報告。
Anthropic 前沿紅隊部落格發布研究:與 Theorem Labs 合作,用 Claude 在數週內為一百多個真實開源庫證明安全屬性。形式化驗證過去只能用於小規模程式碼庫或需大量專家時間,AI 模型正讓大規模驗證變得可行。完整研究已在其部落格發布。
NVIDIA 發布 AIOps 平台 Minerva,為 AI 工廠提供端到端可觀測性。它把 GPU、網路、儲存、排程器與工作負載的遙測匯入動態知識圖譜,每小時分析數十億資料點,用於發現異常、預測故障並把告警風暴聚合為帶根因的事件;平台還內建 AI 助手,可連線外部 agentic 工具,目標是提升 GPU 正常執行時間與 AI 工廠產出。
VentureBeat Intelligence 在 2026 年 7 至 9 月的三輪調研(385 名受訪者)顯示,79% 的企業表示其 GPU 至少一半時間完全閒置,這一比例三個月穩定在 77% 至 81%。但在這批企業中,70% 仍計劃未來 12 個月引入、擴充或更換 AI 計算平台;計劃採用新平台的受訪者中有 91% 拿不出經財務部門稽核的 ROI 資料。新採購意向中 90% 投向公有云與模型 API,僅 8% 考慮擴建本地私有叢集。