專用推理引擎興起,放棄通用性換極致效能
近期出現一批極窄用途的推理執行時,包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性,只針對少數模型甚至單一硬體家族(如 Strix Halo)做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態,並有助於智慧的民主化與去中心化,讓現有硬體在特定配置下榨出最大輸出。
依意思最接近的 30 筆
近期出現一批極窄用途的推理執行時,包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性,只針對少數模型甚至單一硬體家族(如 Strix Halo)做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態,並有助於智慧的民主化與去中心化,讓現有硬體在特定配置下榨出最大輸出。
OpenAI 兌現 28 天連更承諾的第 1 天更新:GPT-6 Astra 與 GPT-6.1 Sol 預設速度提升約 50%,輸出從 30 TPS 提到 50 TPS,使用者無需操作、兩小時內生效,並覆蓋 OpenCode、Pi、Amp、Devin 等通過 Sign in with ChatGPT 接入的合作伙伴。
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重,輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3,LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s;解碼受 DRAM 頻寬限制,實測跑到峰值的 82%-94%。
OpenAI 產品負責人 Tibo Sottiaux 發帖預告未來模型會更擅長刪除和簡化程式碼,並在評論中確認 Astra 6.1「coming soon」。負責 coding post-training 的研究員 Rajan Agarwal 轉發該帖,並公開徵集使用者遇到的 sloppy code 與程式碼品質問題。《華爾街日報》此前報導,Astra 6.1 原計劃 10 月發布,因內部安全測試中在權限邊界上表現不穩而被臨時叫停。
argmin.net 刊出文章,審視 OpenAI 聲稱能更快計算傅裡葉變換的數學方法。該帖在 Hacker News 上獲得 43 分、17 條評論,討論圍繞這一加速宣稱的數學依據是否成立。
OpenAI 新平台發布系列首篇隨筆《永恆的互補》,作者為 Hemanth Asirvatham 與 Elliott Mokski,文末註明觀點不代表 OpenAI。文章引用 Nick Bloom 等研究:維持摩爾定律所需研究人員數量是 1970 年代初的 18 倍以上,1930 年代以來全經濟有效研究投入增長 23 倍,而研究生產率下降 41 倍。作者據此提出「制度智慧」概念,認為前沿智慧與執行能力互為補充,超級智慧的價值可能更多體現在重複性執行工作上。
OpenAI 於 9 月 21 日發布官方戰略宣告,把自動化 AI 研究員與遞迴自我改進(RSI)列為下一階段重要目標,並計劃在 2028 年 3 月前打造真正的自動化 AI 研究員;Anthropic 同期披露,截至 8 月 Claude 已在約 26% 的內部 AI 研發工作中承擔主導角色。
舊金山初創公司 Industrial Next 在 TechCrunch Disrupt 2026 上宣布與 BMW 集團技術辦公室合作,評估其 AI 靈巧操作技術用於製造。該公司由兩位前特斯拉工程師於 2021 年創立,做的是基於自研基礎模型的機器人工作站,把視覺、任務上下文與運動控制打通,用高保真模擬訓練,產線換型從數週縮短到數分鐘,無需傳統程式設計。其工作站已在某款熱門手機的生產中使用,負責柔性排線穿線、聯結器扣合等此前難以自動化的工序;
Sophos 用 OpenAI Daybreak 建置的 AI agent,將安全運營案件的平均回應時間從約 38 分鐘降至 89 秒,調查時間減少 96%。該方案基於 Sophos Fusion 與 MDR,agent 彙總客戶上下文、檢測結果與威脅情報,按計劃—執行—複核迴圈產出調查摘要與回應建議,52% 的 MDR 案件已由 AI 端到端處理。客戶仍可用 Notify、Collaborate、Authorise 三種模式決定 AI 的處置權限,破壞性操作交由人工判斷。
Vercel 資料顯示,TypeSafe AI 的輕量決策模型 Jev 上線兩週內被 35% 付費團隊使用,覆蓋面接近第二名 Sonnet 5.5 的兩倍,是 Vercel 平台上普及最快的模型。Jev 於 9 月 15 日限量發布,通過限定候選輸出降低推理成本、提升速度,適合大批次資料分類,Vercel 已用它替換 GPT-6 Luna 做有害命令分類。
OpenAI 的 Sam Altman 表示,6.1 Sol 是公司史上增長最快的模型,但在負載下曾出現回應偏慢的問題。他稱現在情況應該會好很多,暗示相關效能問題已得到改善。
OpenAI 為 GPT-6.1 Sol 推出 Ultrafast 模式,今日起在 API、Codex 和 ChatGPT Work 同步上線,官方稱其速度最高可達 Sol Standard 的 8 倍。該模式被描述為具備接近 Astra 的智慧水平,官方說法是讓建置速度跟上想法產生的速度。
AI 實驗室 Third Moment Research 藉助 OpenAI 的 GPT-6 Astra、GPT-6.1 Sol 與 Codex,可同時執行 1 萬個 agent,單次自主研究持續 36–48 小時。Codex 曾定位量化回測瓶頸並部署快取與記憶體打包最佳化,把一年美股訂單級資料的回測從約 3 小時縮短到 3–5 分鐘,回測時間減少 97%。
Google 讓 Gemini 4 Argon 在 Antigravity 的 /goal 模式下無人值守跑了 11 小時,對約 20.5 萬行、近 800 個原始檔的 google/adk-python 倉庫做跨檔案效能最佳化,最終把長會話的記憶體 session 準備時間縮短約 40%,冷啟動包匯入加快 21%。該 PR 跨 32 個檔案提出 6 項最佳化,經人工評審後僅 2 項合入,4 項被拒。
Asana 在 Codex 中用 GPT-6 Astra 改造 StackAI 瀏覽器智慧體工作流,在 GPT-6.1 Sol 上把單次執行的預估模型成本降至 0.47 美元、約 4 分鐘,比原生產環境所用的 Model B 便宜 76 倍、快 5 倍。144 次測試覆蓋四款前沿模型,最佳化手段包括把快取擴充套件到瀏覽歷史、把文字歷史預算放寬到 12 萬與 48 萬字元、截圖累積到 20 張再批次清理。
OpenAI Codex 負責人 Tibo 的 28 天計劃首日,官方宣布 GPT-6 Astra 與 GPT-6.1 Sol 預設推理速度提升約 50%、達 50TPS,覆蓋官方訂閱及 OpenCode、Amp 等第三方接入,但網友實測僅約 35TPS。同期 OpenAI 在 ChatGPT 影像生成中測試視覺廣告,並將在幾週內為歐盟地區 ChatGPT 和 Codex 生成的文字加隱形水印。
軟體工程學者 Diomidis Spinellis 在部落格中判斷,AI 將接管大部分認知工作,思考會像狩獵、書法和木工一樣,從謀生手段變成休閒愛好。他給出三個驅動因素:效能更高、成本更低、可用性更高,並提到 OpenAI 內部模型已解決數百個此前未解的數學問題。文中還提到到 2030 年數萬億美元的資料中心投資將帶來更多算力,政府可能以監管和稅收限制 AI,但歷史上的類似舉措未能阻止技術革命;他建議保持靈活、跟上進展,並在工作之外建立有意義的生活。
GPT-6 Astra Ultrafast 已在 OpenAI API 上線,並向符合條件的 ChatGPT Work 與 Codex 使用者開放,執行在 NVIDIA Blackwell GPU 上。官方稱其 token 生成速度最高可達 Astra Standard 模式的 8 倍,可縮短 coding agent 的編輯—測試—除錯迴圈,並減少工具呼叫之間的等待。開發者可通過 API 使用,訪問方式、價格與實現細節見 Ultrafast 指南。
輝達《State of AI in Telecommunications》報告顯示,89% 受訪者認為開源模型與軟體對公司 AI 戰略重要。運營商看重開源模型的可信任、可控與可定製,用於自主網路、客服等關鍵負載,並把閉源模型留給價值最高的場景;輝達同時發布 300 億引數的 Nemotron 3 Large Telco Model(由 AdaptKey 在開源電信資料集上微調),並提供基於 NeMo 的端到端微調流程。
Epic 公開發布用 AI「vibe coding」從零重寫的新版 Epic Games Launcher 預覽版,官方稱它比當前版本和 Steam 都更快、回應更靈敏,並換了新外觀。Epic Games Store 總經理 Martin Keely 表示,團隊把 AI 當作編寫和審查新功能的工具,目標是復刻舊版已有功能但不復用原有程式碼,讓一個小團隊更快跨平台發布。預覽版支援 Windows 與 Mac,Linux 版本也將推出。
數學家陶哲軒在 SAIR 演講中公開呼籲模型公司放慢數學研究節奏,稱 AI 無休止加速卻對後果一無所知,並稱之為 Proof Indigestion(證明消化不良):AI 只在生成解答與 Lean 驗證上狂飆,理解、評審、寫入教科書幾乎停滯。此前他與 25 位菲爾茲獎得主聯名發表公開信,批評把數學當 benchmark 刷分。OpenAI 隨後回應,宣布在普林斯頓高等研究院設立數學與人工智慧顧問小組,但宣告寫明該小組不就數學上的內部進展提供建議。
OpenAI 發布 GPT-6.1 Sol 的 Ultrafast 模式,官方稱智慧水平與標準版一致、仍逼近旗艦 Astra,但速度是標準版的 8 倍。其 API 定價為每百萬輸入 token 12 美元、輸出 60 美元,是標準版(2 美元 / 10 美元)的 6 倍,API 呼叫不受訂閱等級限制。
一篇評論用斯特魯加茨基兄弟的科幻小說《路邊野餐》類比 AI 對科學的衝擊:AI 實驗室正成批產出數學發現,多到要另附導讀,速度遠超學界消化能力。作者稱這類「發現傾倒」會出現在所有能閉環快速驗證的領域;NYU 數學教授 Tristan Buckmaster 提到最近一批 AI 科學論文讓整個研究專案一夜之間被抹掉。文章的核心判斷是答案將越來越先於理解到來,理解成為瓶頸,這或許也是反加速主義少有的有效論據。
Ai2 把原先基於優先順序的 GPU 排程器換成了由 GPU 時間預算、層級化公平分配和時間切片契約組成的新系統。它管理數千塊 NVIDIA H100、B200、B300,叢集規模從 88 到 1024 塊 GPU,服務約 150 名內部研究者,GPU 需求長期是供給的 2 到 3 倍。舊方案導致 GPU 蹲坑佔位、優先順序通脹(最終 100% 工作負載都標為 HIGH)以及值班工程師大量時間用於協商關閉不可搶佔任務。
企業語音 AI 平台 PolyAI 的 CTO Shawn Wen 在 HumanX 大會上表示,全雙工模型雖已實現,語音 AI 仍未迎來自己的「ChatGPT 時刻」,下一步的關鍵是讓推理足夠快、對話足夠自然。會議記錄工具 Otter 的 CMO Alex Gay 指出,說話人識別、意圖捕捉並與組織知識結合才是自動化的關鍵,Otter 還在研發可代表參會者的數字孿生。兩人都提到 ASR 模型常漏掉關鍵詞,轉寫不準會讓後續動作全部出錯、使用者失去信任;
因果智慧公司 Aether AI 公布機器人系統 CRIS-0 的官方 Demo,靠提取物理因果變數而非端到端擬合驅動機械臂。在咖啡製作測試中遭遇人為移位與光照突變,系統平均 2 秒內完成重規劃,10 次隨機擾動有 9 次有效恢復;客廳長程整理可連續執行數十步,20 條模糊指令完成 18 次精準抓放,危險變數出現時 0.2 秒急停。
有人做了一款工具,追蹤 AI 行業領袖在影片中的公開表態,並展示他們觀點隨時間的變化。目前收錄了 Dario Amodei(累計 54 條)、Alex Karp(51 條)、Marc Andreessen(49 條)、Sam Altman(45 條)、Palmer Luckey(40 條)、Satya Nadella(23 條)、Elon Musk(21 條)、Yann LeCun(6 條)等人,頁面同時標註本週新增條數,例如 Alexandr Wang 本週有 5 條。
智譜在 Zcode 3.15.1 中灰度上線高速模型 GLM-5.3-Highspeed,訂閱使用者隨機獲得體驗資格,有網友實測速度達 490 tokens/s。作為對比,上月亮相的 GLM-5.3-FlashX 最高 200 tokens/s,GLM-5.3-Flash 在 Z.ai API 上約 60 tokens/s。
AI 現在能在數天內自動反編譯遊戲,把編譯後的成品還原成原始碼再重新編譯到其他平台,產出支援高幀率、動態解析度與模組的原生版本。作者舉例 IsaacRecomp 將 2011 年 Flash 版《以撒的結合》自動移植為 C++,從鎖定 30FPS、低解析度變為原生 1440p、插值到 165FPS,同類專案已有數百個,涵蓋《科林麥克雷拉力賽 2.0》《最終幻想戰略版 Advance》《銀河戰士 Prime》,開發中的 AnyPS5 號稱可把任意 PS5 遊戲移植到 PC。
Higgsfield AI 藉助 GPT-6 Astra,把 AI 生成影片的時長從原先約 1 分鐘提升到 10 分鐘以上,CEO Alex Mashrabov 稱這緩解了長影片中畫面一致性的難題。配合 GPT-Image-2.5,平台可穩定渲染影像上的文字與資訊圖,服務缺少製作預算的小商家。Codex 讓約 200 名創意人員把想法直接做成軟體原型,團隊還用 GPT-6 Astra 生成長度超 10 分鐘的教學影片。