專用推理引擎興起,放棄通用性換極致效能
近期出現一批極窄用途的推理執行時,包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性,只針對少數模型甚至單一硬體家族(如 Strix Halo)做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態,並有助於智慧的民主化與去中心化,讓現有硬體在特定配置下榨出最大輸出。
依意思最接近的 18 筆
近期出現一批極窄用途的推理執行時,包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性,只針對少數模型甚至單一硬體家族(如 Strix Halo)做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態,並有助於智慧的民主化與去中心化,讓現有硬體在特定配置下榨出最大輸出。
Google 讓 Gemini 4 Argon 在 Antigravity 的 /goal 模式下無人值守跑了 11 小時,對約 20.5 萬行、近 800 個原始檔的 google/adk-python 倉庫做跨檔案效能最佳化,最終把長會話的記憶體 session 準備時間縮短約 40%,冷啟動包匯入加快 21%。該 PR 跨 32 個檔案提出 6 項最佳化,經人工評審後僅 2 項合入,4 項被拒。
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重,輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3,LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s;解碼受 DRAM 頻寬限制,實測跑到峰值的 82%-94%。
OpenAI 產品負責人 Tibo Sottiaux 發帖預告未來模型會更擅長刪除和簡化程式碼,並在評論中確認 Astra 6.1「coming soon」。負責 coding post-training 的研究員 Rajan Agarwal 轉發該帖,並公開徵集使用者遇到的 sloppy code 與程式碼品質問題。《華爾街日報》此前報導,Astra 6.1 原計劃 10 月發布,因內部安全測試中在權限邊界上表現不穩而被臨時叫停。
OpenAI 新平台發布系列首篇隨筆《永恆的互補》,作者為 Hemanth Asirvatham 與 Elliott Mokski,文末註明觀點不代表 OpenAI。文章引用 Nick Bloom 等研究:維持摩爾定律所需研究人員數量是 1970 年代初的 18 倍以上,1930 年代以來全經濟有效研究投入增長 23 倍,而研究生產率下降 41 倍。作者據此提出「制度智慧」概念,認為前沿智慧與執行能力互為補充,超級智慧的價值可能更多體現在重複性執行工作上。
AI 實驗室 Third Moment Research 藉助 OpenAI 的 GPT-6 Astra、GPT-6.1 Sol 與 Codex,可同時執行 1 萬個 agent,單次自主研究持續 36–48 小時。Codex 曾定位量化回測瓶頸並部署快取與記憶體打包最佳化,把一年美股訂單級資料的回測從約 3 小時縮短到 3–5 分鐘,回測時間減少 97%。
argmin.net 刊出文章,審視 OpenAI 聲稱能更快計算傅裡葉變換的數學方法。該帖在 Hacker News 上獲得 43 分、17 條評論,討論圍繞這一加速宣稱的數學依據是否成立。
AWS 發布開發工具 TorchNeuron,用 PyTorch 寫的 AI 應用只需改一行配置即可跑在自研晶片 Trainium 上,無需重寫程式碼。AWS 稱約 85% 的 AI 應用基於 PyTorch,熟悉 PyTorch 的開發者可直接上手。亞馬遜還會把解耦 PyTorch 與特定晶片的程式碼回饋上游,推動框架硬體無關;Trainium 兼顧訓練與推理,AWS 強調價效比,語音 AI 公司 Deepgram 遷移後每美元處理音訊量提升 70%。
Google 宣布開源 TorchTPU,PyTorch 應用只需改配置、無需重寫程式碼,就能執行在 Google 的 TPU 與 Google Cloud 上。據稱 85% 的 AI 應用基於 PyTorch,而它的許多特性原本專為 Nvidia GPU 設計。前一天 Amazon 也發布 TorchNeuron 支援自家 Trainium,並向 PyTorch 主專案提交程式碼,把各項特性與 Nvidia 晶片解耦。
普林斯頓大學教授 Elad Hazan 發表長文,回顧線上凸最佳化(OCO)二十年,串起 Online Newton Step、AdaGrad 等現代 AI 核心方法的脈絡。他回憶了與 Satyen Kale、John Duchi、Yoram Singer 合作提出 AdaGrad 的過程,以及 ONS 論文被 FOCS/STOC 拒稿的經歷;OCO 的 regret minimization 與自適應更新思想後來進入 bandit、線上控制與序列建模。
OpenAI 於 9 月 21 日發布官方戰略宣告,把自動化 AI 研究員與遞迴自我改進(RSI)列為下一階段重要目標,並計劃在 2028 年 3 月前打造真正的自動化 AI 研究員;Anthropic 同期披露,截至 8 月 Claude 已在約 26% 的內部 AI 研發工作中承擔主導角色。
Google 開源了 Harness²,這是一套雙層遞迴框架,讓 Agent 在執行時自行修改腳手架、系統提示詞、工具鏈與技能庫。它在沒有標準答案時,用 Propose–Probe–Compose 對改動做行為對比篩選,並把除錯經驗寫進經驗庫,供後續任務檢索複用。實測 GLM-5 在 OpenCode 下執行 WorkBuddy-Bench,得分從 64.2 升到 75.7(+11.5 分),反超未改腳手架的 Gemini 3.5 Flash(72.4);
AI 現在能在數天內自動反編譯遊戲,把編譯後的成品還原成原始碼再重新編譯到其他平台,產出支援高幀率、動態解析度與模組的原生版本。作者舉例 IsaacRecomp 將 2011 年 Flash 版《以撒的結合》自動移植為 C++,從鎖定 30FPS、低解析度變為原生 1440p、插值到 165FPS,同類專案已有數百個,涵蓋《科林麥克雷拉力賽 2.0》《最終幻想戰略版 Advance》《銀河戰士 Prime》,開發中的 AnyPS5 號稱可把任意 PS5 遊戲移植到 PC。
Faros 2026 年研究分析 22,000 名開發者、4,000 個團隊兩年遙測資料後發現,AI 採用度高的組織每位開發者 bug 增加 54%,PR 評審中位耗時約漲 5 倍,每 PR 事故數超 3 倍;其 Q3 報告稱部分效應有所緩解,但驗證與運維成本仍在累積。
Meta 工程師在 LinkedIn 發帖稱,用 AI 寫程式碼後難以逐行審查,交付的系統成了自己不完全理解的黑盒。帖文說 AI 輔助交付節奏太快,逐行檢查會耗費大量時間,結果可能只懂高層結構、不懂每個細節,這違背軟體工程習慣。該帖被轉到 Hacker News 的 Ask HN 後獲得 179 分、292 條評論,討論工程師該理解到什麼程度、又該如何應對才敢繼續交付。
Asana 在 Codex 中用 GPT-6 Astra 改造 StackAI 瀏覽器智慧體工作流,在 GPT-6.1 Sol 上把單次執行的預估模型成本降至 0.47 美元、約 4 分鐘,比原生產環境所用的 Model B 便宜 76 倍、快 5 倍。144 次測試覆蓋四款前沿模型,最佳化手段包括把快取擴充套件到瀏覽歷史、把文字歷史預算放寬到 12 萬與 48 萬字元、截圖累積到 20 張再批次清理。
小紅書 Dots 團隊開源稀疏注意力加速方案 DoSA,在保持原始 Top-K 選擇結果完全等價的前提下加速索引器,約 1M token 上下文下 Dots3-Note-preview、GLM-5.2、DeepSeek-V3.2 的首 token 延遲較各自 SGLang 基線分別降低約 37%、46% 和 48%。其做法是用分數上界與入選門檻下界,提前排除約 97% 不可能入選的候選,只對剩餘候選做全部索引頭的精確打分。
Ai2 把原先基於優先順序的 GPU 排程器換成了由 GPU 時間預算、層級化公平分配和時間切片契約組成的新系統。它管理數千塊 NVIDIA H100、B200、B300,叢集規模從 88 到 1024 塊 GPU,服務約 150 名內部研究者,GPU 需求長期是供給的 2 到 3 倍。舊方案導致 GPU 蹲坑佔位、優先順序通脹(最終 100% 工作負載都標為 HIGH)以及值班工程師大量時間用於協商關閉不可搶佔任務。