專用推理引擎興起,放棄通用性換極致效能
近期出現一批極窄用途的推理執行時,包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性,只針對少數模型甚至單一硬體家族(如 Strix Halo)做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態,並有助於智慧的民主化與去中心化,讓現有硬體在特定配置下榨出最大輸出。
依意思最接近的 30 筆
近期出現一批極窄用途的推理執行時,包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性,只針對少數模型甚至單一硬體家族(如 Strix Halo)做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態,並有助於智慧的民主化與去中心化,讓現有硬體在特定配置下榨出最大輸出。
企業一度鼓勵員工儘可能多地使用 AI,即所謂的 #tokenmaxxing,隨後賬單隨之而來。報導援引一項針對近 400 家企業的調查稱,其中只有 11% 能準確預測自己的 AI 支出。AI 使用量以 token 計量,而企業發現 token 很難統計,這讓 AI 預算幾乎無法編制。
一份面向 AI agent 的評估方法與開源工具 agent-eval 發布,主張用可重複的評估流程替代憑感覺看輸出。方法以關鍵使用者旅程(CUJ)定義成功標準,每個條件都對應一個評估點,先用模擬使用者 LLM 生成正常與邊緣場景,再在單元測試、確定性指標、LLM-as-a-judge 評分與整合測試四層做檢查。
Llmspeed 是一個可按硬體或模型查詢本地大模型推理速度的網站,用於在購買硬體前預估實際體驗。它覆蓋 RTX 5090、RTX 3090、Mac Studio M5 Ultra 512GB、DGX Spark、Strix Halo 與純 CPU 等三十餘種配置,以及 Qwen 3.6/3.8 27B、GPT-OSS 120B、DeepSeek V4 Flash、GLM-5.3 Flash 等模型,給出短提示、單裝置下的速度估計。
Anthropic 與經濟學家聯合調查顯示,91% 的 Anthropic 員工認為 AI 到 2030 年能做出諾獎級發現,美國成年人中這一比例為 39%。員工預期 AI 屆時能完成自己 75% 的工作,美國工人平均為 28%;在使用 AI 的工作任務中,員工預期 2030 年有 65% 交由 AI 完成,美國成年人預期為 42%。
越來越多 AI 助手不再需要單獨下載 App,直接用 iMessage、RCS 或簡訊就能對話並代辦任務。其中 Instinct 於 2026 年 9 月完成 10 億美元融資、估值達 100 億美元,並開始給使用者分配助手專屬信箱地址、上線代打電話功能,目前仍處私測。其餘選項裡,Folk 免費、Pro 訂閱 8.33 美元/月,Comma 開源且免費起步,Fambot 主打家庭日程並每晚推送次日摘要,Martin 訂閱 21 美元/月起。
AI 實驗室 Third Moment Research 藉助 OpenAI 的 GPT-6 Astra、GPT-6.1 Sol 與 Codex,可同時執行 1 萬個 agent,單次自主研究持續 36–48 小時。Codex 曾定位量化回測瓶頸並部署快取與記憶體打包最佳化,把一年美股訂單級資料的回測從約 3 小時縮短到 3–5 分鐘,回測時間減少 97%。
哈佛大學研究者在 700 多家公司、70 萬名員工、3 億條工作事件的資料中發現,AI 程式設計工具並未讓企業軟體產出增加或減少用人,編碼階段省下的時間被下游環節吸收。程式碼審查時長明顯增加,pull request 更常需要返工,審查者留下的評論也更多。研究據此認為人工程式碼審查是 AI 編碼效率的主要瓶頸。
新評測 InnovationEval 顯示,前沿模型無法獨立復現人類研究者近期做出的機器學習演算法創新:在端到端任務中,它們耗費數千美元 GPU 算力,仍未達到人類論文(on-policy self-distillation,SDPO)的水平。測試要求 AI 自主提出一種新的後訓練方法,在短答題與程式碼任務上後訓練 Qwen3-8B,並超過 GRPO 基線。主要結果來自 Claude Fable 5 與 GPT-5.6 Sol;
一項覆蓋美國經濟的基準地圖研究顯示,90% 的美國工作時間花在現有 AI 基準幾乎未覆蓋的任務上。研究把美國勞工部 O*NET 的 923 個職業、18797 項任務與篩選出的 29 個基準做對映,只有 208 個職業、924 項任務被至少 5 條基準提示覆蓋,22 個職業大類中有 6 類完全空白。覆蓋分佈並不隨機,偏向高工資、大勞動力市場:同樣被判定易受 AI 影響的律師任務覆蓋充分,法律秘書、法庭書記員的任務卻幾乎沒有對應基準。
Anthropic 於 10 月 16 日發布兩份報告:其內部 AI agent 工作時長在 2026 年 3 月已超過員工,到 8 月 agent 數量是員工的 6 倍,同期初級崗位與技術崗招聘佔比下降,人均程式碼、銷售與合同處理產出上升,瓶頸轉向人的注意力。第二份報告對比近 1.1 萬名美國成年人與 Anthropic 員工的調查:91% 的員工認為 AI 能在 2030 年前做出諾獎級發現,美國成年人中僅 39%;
Parsimony 是一個開源基準,用來衡量 AI 模型在改程式碼時到底新增了多少程式碼。它複用 DeepSWE、SWE-bench Verified 與 SWE-bench Live 已公開的補丁,統計語句、呼叫、命名、字面量等「編碼單元」而非程式碼行數,並減去被刪除的程式碼,只算淨增量。GPT-6 與 Claude 5.5 尚無公開補丁,作者在自己的訂閱上跑了 3–10 個任務,結果以淺色圓圈顯示、不參與排名。作者也歡迎提交新模型的公開補丁匯出。
Ai2 於 2026 年 10 月 2 日開源 AstaBrief 8B,一個把研究問題與檢索文獻片段轉成帶引用報告的模型,基於 Qwen3-8B 訓練,採用 SFT 加 DPO 而非強化學習。它已作為 Asta 的 Fast 模式上線,與 Claude 驅動的 Thinking 模式並列,整條流水線平均每份報告 51.1 秒,比 Thinking 模式的 178.5 秒快約 3.5 倍。
Ai2 把原先基於優先順序的 GPU 排程器換成了由 GPU 時間預算、層級化公平分配和時間切片契約組成的新系統。它管理數千塊 NVIDIA H100、B200、B300,叢集規模從 88 到 1024 塊 GPU,服務約 150 名內部研究者,GPU 需求長期是供給的 2 到 3 倍。舊方案導致 GPU 蹲坑佔位、優先順序通脹(最終 100% 工作負載都標為 HIGH)以及值班工程師大量時間用於協商關閉不可搶佔任務。
面向 coding agent 的外掛 neckbeard 在 Claude Code 上線,它讀取應用倉庫,從經過測試的 OpenTofu 模組目錄渲染出可審查的雲基礎設施與月度成本估算,支援 AWS、GCP、Azure 及 GitHub Actions/GitLab CI。規劃、渲染與校驗全部由確定性程式碼完成,agent 只做分析與解釋,不憑空編造基礎設施。
Ricursive Intelligence 兩位創始人在 TechCrunch Disrupt 上介紹,公司正開發能自行設計晶片、從每次迭代中學習並改進後續設計的 AI,目標是自動化並加速晶片設計流程。創始人 Anna Goldie 與 Azalia Mirhoseini 稱未來五年算力需求至少增長 10000 倍,與其建 10000 倍資料中心,不如讓晶片和晶圓用得更高效;
Character.ai 已申請破產,破產法庭檔案披露其算力支出長期遠超收入:2024 年每月 AI 算力花費 1380 萬美元,2025 年降至 1000 萬美元,而訂閱收入峰值僅每月 280 萬美元,含廣告的全部收入峰值 530 萬美元。2026 年 1 至 8 月算力支出 5610 萬美元,8 月仍每月虧損約 800 至 900 萬美元。
Ai2 開源了 AstaBrief 8B,一個把研究問題與檢索文獻片段轉成帶引用報告的模型,基於 Qwen3-8B 訓練,已作為 Asta 的 Fast 模式上線。官方稱 Fast 模式平均 51.1 秒生成一份報告,比 Claude 驅動的 Thinking 模式 178.5 秒快約 3.5 倍。模型權重、訓練資料與範例工作流一併開放,機構可在自有基礎設施上本地生成報告。
模型雲服務商 Neuralwatt 分析一個月流量發現,同一模型下不同 agent harness 的 prompt 快取命中率差異明顯,未快取輸入佔 1.6%–11.1%,而一次快取未命中會讓請求能耗約為全快取時的兩倍,GLM-5.3 上接近 2.5 倍。命中率 92% 相當於每 100 個輸入 token 有 8 個未快取,97% 時只有 3 個,prefill 工作量相差 2.7 倍。
軟體工程學者 Diomidis Spinellis 在部落格中判斷,AI 將接管大部分認知工作,思考會像狩獵、書法和木工一樣,從謀生手段變成休閒愛好。他給出三個驅動因素:效能更高、成本更低、可用性更高,並提到 OpenAI 內部模型已解決數百個此前未解的數學問題。文中還提到到 2030 年數萬億美元的資料中心投資將帶來更多算力,政府可能以監管和稅收限制 AI,但歷史上的類似舉措未能阻止技術革命;他建議保持靈活、跟上進展,並在工作之外建立有意義的生活。
OpenAI 新平台發布系列首篇隨筆《永恆的互補》,作者為 Hemanth Asirvatham 與 Elliott Mokski,文末註明觀點不代表 OpenAI。文章引用 Nick Bloom 等研究:維持摩爾定律所需研究人員數量是 1970 年代初的 18 倍以上,1930 年代以來全經濟有效研究投入增長 23 倍,而研究生產率下降 41 倍。作者據此提出「制度智慧」概念,認為前沿智慧與執行能力互為補充,超級智慧的價值可能更多體現在重複性執行工作上。
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重,輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3,LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s;解碼受 DRAM 頻寬限制,實測跑到峰值的 82%-94%。
Karpathy 在推文中估算,全球只有約 5000 人(約 0.00006% 人口)能直接使用最前沿的內部 AI 系統;約 2000 萬數學與程式設計專業人士在用前沿級 LLM 做專業工作,另有約 60 億人(約全球 75%)幾乎沒接觸過 LLM。他把這種分化稱為一條越來越陡的能力漏斗,成因是任務規模、能力鋸齒狀分佈(集中在可數字化、可驗證、商業價值高的領域)與存取權限分層。這些內部系統可讓成千上萬 Agent 組成叢集連續執行數週,推進大型軟體專案、發現零日漏洞。
Anthropic 週一發布研究報告,稱可自我複製的 AI 蠕蟲可能數月內就具備在 IoT 裝置上擴散的能力。報告稱 90 億引數模型在 9 類硬體中的 8 類上成功部署推理,Gemma4-26B-A4B 分散跑在 15 臺安卓電視盒上僅 0.39 tokens/秒;GLM-5.2 成功向 8 個安卓 15 模擬器節點傳播 Llama3.1-8B,5 次試驗中 4 次全部成功。
OpenAI 於 9 月 21 日發布官方戰略宣告,把自動化 AI 研究員與遞迴自我改進(RSI)列為下一階段重要目標,並計劃在 2028 年 3 月前打造真正的自動化 AI 研究員;Anthropic 同期披露,截至 8 月 Claude 已在約 26% 的內部 AI 研發工作中承擔主導角色。
TypeSafe AI 以 75 億美元估值完成 8.7 億美元融資,由 Andreessen Horowitz 領投,紅杉與現有投資方 DCVC 參投。其模型 Jev 於 9 月 15 日發布,基於 transformer 架構但不是大語言模型,不輸出文字而是生成機率,公司稱之為「校準決策」,定位是自動化任務而非寫文字或程式碼。公司稱 Jev 速度明顯更快、消耗 token 遠少於 LLM,並稱已有三分之一財富 500 強企業在使用;
Vercel 資料顯示,TypeSafe AI 的輕量決策模型 Jev 上線兩週內被 35% 付費團隊使用,覆蓋面接近第二名 Sonnet 5.5 的兩倍,是 Vercel 平台上普及最快的模型。Jev 於 9 月 15 日限量發布,通過限定候選輸出降低推理成本、提升速度,適合大批次資料分類,Vercel 已用它替換 GPT-6 Luna 做有害命令分類。
文章在凱文·凱利 2016 年出版的《必然》問世十年後,逐條回看他當時對 AI 的判斷。他預言到 2026 年 Google 的主業將不再是搜尋而是 AI,AI 會由兩三家通用雲端商業智慧形成寡頭格局,形態更像可按需取用的 AWS 式廉價基礎設施,且絕大多數是狹窄的專用軟體大腦;人們還能用對話語氣向雲端提出任何問題。文中另提到 Google 研究者 2017 年發表《Attention Is All You Need》,提出 transformer 架構。
輝達援引 SemiAnalysis AgentX 資料稱,Vera Rubin NVL72 每兆瓦吞吐量超過 GB300 NVL72 的 30 倍,在 DeepSeek V4 Pro 上每百萬 token 成本最多低 45 倍。輝達以「高產、耐用、通用」概括 AI 工廠回報邏輯:每兆瓦 token 數決定收益,A100 出貨六年後仍在商用,CoreWeave 已將 2020 年首批裝置的預訂延長至 2029 年。
OpenAI 於 2026 年 10 月 6 日發布由內部前沿模型產出的多項數學結果,以 GitHub 倉庫形式公開,併為其中許多證明提供 Lean 形式化驗證。倉庫同時給出 10 份模型推理摘要、以 ChatGPT Pro 用量折算的算力估算,以及嘗試題目數量的統計,平均每個結果約消耗相當於 3 小時 ChatGPT Pro 思考的算力。