llama.cpp Vulkan 後端用 subgroup reductions 最佳化 RMS Norm
llama.cpp 新建置 b11905 為 Vulkan 後端加入基於 subgroup reductions 的 RMS Norm 最佳化,並把 AMD 廠商加入 subgroup 歸約快速路徑。非 subgroup 路徑補齊 128/256/512 三種 block size,統一 BLOCK_SIZE,加入 unroll,以及跳過第二次 subgroup 的快速路徑。
依意思最接近的 30 筆
llama.cpp 新建置 b11905 為 Vulkan 後端加入基於 subgroup reductions 的 RMS Norm 最佳化,並把 AMD 廠商加入 subgroup 歸約快速路徑。非 subgroup 路徑補齊 128/256/512 三種 block size,統一 BLOCK_SIZE,加入 unroll,以及跳過第二次 subgroup 的快速路徑。
Anthropic 發布遷移工具(migration kit),幫助 Claude Platform 使用者把子代理摺疊進主 agent 迴圈,先跑引導流程識別模式、評估替代方案,並可在 mock 系統上演示。在多家企業部署的對比中,單一 agent 配合 skills 的品質常優於子代理架構,且每任務成本與延遲更低;有客戶實測多 agent 執行時間約為單迴圈的 2 倍。
OpenAI Devs 表示,團隊用 Rust 重寫服務層,降低了代理開銷。對認證後設資料這類每個請求都必需的小型關鍵資料集,團隊保留了廣泛複製;設定和應用狀態等高頻訪問資料則由區域內快取提供。推文列出這三項基礎設施最佳化,但未給出延遲、吞吐等具體數字或生效範圍。
10 月 26 日,Axiom Math 宣布數十個 AI Agent 用 24 天完成了有限單群分類定理的 Lean 形式化,產出約 4310 萬行程式碼、205 萬個宣告。這項被稱「巨型定理」的證明由 100 多位數學家耗費數十年寫成,約 1.5 萬頁、散落在 500 多篇論文裡。過程中 Agent 發現 1986 年 Walter 不平衡群定理的一處推理漏洞,並在群論專家建議下構造出新定理 Preservation of simple tops 補上這條路線。
Ai2 把原先基於優先順序的 GPU 排程器換成了由 GPU 時間預算、層級化公平分配和時間切片契約組成的新系統。它管理數千塊 NVIDIA H100、B200、B300,叢集規模從 88 到 1024 塊 GPU,服務約 150 名內部研究者,GPU 需求長期是供給的 2 到 3 倍。舊方案導致 GPU 蹲坑佔位、優先順序通脹(最終 100% 工作負載都標為 HIGH)以及值班工程師大量時間用於協商關閉不可搶佔任務。
小紅書 Dots 團隊開源稀疏注意力加速方案 DoSA,在保持原始 Top-K 選擇結果完全等價的前提下加速索引器,約 1M token 上下文下 Dots3-Note-preview、GLM-5.2、DeepSeek-V3.2 的首 token 延遲較各自 SGLang 基線分別降低約 37%、46% 和 48%。其做法是用分數上界與入選門檻下界,提前排除約 97% 不可能入選的候選,只對剩餘候選做全部索引頭的精確打分。
Shopify 用 NVIDIA Nemotron 3.5 Lightning 後訓練出的 GraphQL 子智慧體已接入商家助手 Sidekick,官方稱在內部基準上準確率超過一款領先前沿模型,服務成本降低 90%、回應快 7 倍。配合 NVIDIA CCluster 的 vLLM 推理最佳化,目錄豐富、購物模擬、品類分類、推薦等五個場景效能提升 4.5 倍,推理成本最多降 12 倍。
技術部落格 magicnumbers.io 於 2026 年 10 月 6 日發布題為 AI Model Groupthink 的文章,指向 AI 模型的群體思維/趨同現象。該文被提交到 Hacker News 後,截至收錄時獲得 9 分、1 條評論。條目本身只提供標題與連結,沒有正文摘要、作者結論或涉及的具體模型資訊。
macOS 27 Golden Gate 取消了關閉 Apple Intelligence 的開關,GitHub 開發者 Om Lahore 為此發布命令列工具 RemoveMacAI,可一鍵關閉該功能並釋放磁碟空間。據 GitHub 頁面,該操作完全可逆;作者稱 Apple Intelligence 模型約佔 12GB,The Verge 則指出實際佔用可能超過 30GB。此前使用者在設定中只能逐項關閉 AI 功能,模型檔案仍會留在磁碟上。
研究機構 SemiAnalysis 披露,Anthropic 正在對 Claude 訂閱額度做 A/B 測試,相同套餐的不同帳號被分配了不同額度。測試中部分帳號的 5 小時額度提高約 20%,但每週額度反而少約 20%,兩個 Max 20x 帳號的每月 API 等價價值從 11726 美元降至 9385 美元。SemiAnalysis 估算訂閱業務只貢獻 Anthropic 約 10% 的收入,卻消耗約 42% 的推理算力;
蘋果與卡內基梅隆大學提出 SSR 框架,讓多模態搜尋 Agent 不再逐 token 生成自由形式推理,而是從 6 條預定義推理選項中做選擇題。在 7 個多模態搜尋 benchmark 上,每輪推理延遲降低超過 90%,每題總推理延遲降低 28–54%,p95 推理延遲僅 0.07 秒;4B 模型平均成功率 61.37%,與同規模 SOTA 持平,2B 達 51.26%。推理選擇由模型自身打分完成,不需要額外分類頭,也可跳過 SFT warm start 直接接 RL 訓練。
Anthropic 發布內部研究報告,稱初級技術崗位招聘佔比已從 27% 降至 9%,技術部門初級員工佔比自 2025 年初的 21% 降至 14%。報告顯示 AI agent 的工作時長與員工之比已達 6:1,員工人均產出隨之上升,非技術員工的程式設計類 agent 會話從 2025 年 8 月每月 2 次增至 2026 年 5 月的 90 次。招聘經理因此更看重自主性與判斷力,公司還建立了崗位中斷預警系統並優先內部轉崗。
Anthropic 宣布將 Agent Skills 標準捐贈給 Linux 基金會旗下的 Agentic AI Foundation(AAIF),以保持其開放、社群驅動與供應商中立。AAIF 由 Anthropic 與 Block、OpenAI 於去年共同創立,此前 MCP 規範也已捐入該基金會。Anthropic 最早在去年 12 月就將 skills 定位為開放標準,此次是把它交給中立的基金會託管。
OpenAI CEO Sam Altman 在 2026 年 10 月 1 日發帖表示,使用者應當能夠在任何需要的地方使用自己的 AI 訂閱。該表態未說明具體產品、實施方式或時間表,也未提及是否涉及跨平台或第三方應用。
Karpathy 在推文中估算,全球只有約 5000 人(約 0.00006% 人口)能直接使用最前沿的內部 AI 系統;約 2000 萬數學與程式設計專業人士在用前沿級 LLM 做專業工作,另有約 60 億人(約全球 75%)幾乎沒接觸過 LLM。他把這種分化稱為一條越來越陡的能力漏斗,成因是任務規模、能力鋸齒狀分佈(集中在可數字化、可驗證、商業價值高的領域)與存取權限分層。這些內部系統可讓成千上萬 Agent 組成叢集連續執行數週,推進大型軟體專案、發現零日漏洞。
AI 實驗室 Third Moment Research 藉助 OpenAI 的 GPT-6 Astra、GPT-6.1 Sol 與 Codex,可同時執行 1 萬個 agent,單次自主研究持續 36–48 小時。Codex 曾定位量化回測瓶頸並部署快取與記憶體打包最佳化,把一年美股訂單級資料的回測從約 3 小時縮短到 3–5 分鐘,回測時間減少 97%。
Anthropic 把 Agent Skills 開放標準捐贈給 Linux 基金會旗下的 Agentic AI Foundation(AAIF),並移交名稱與 logo、GitHub 組織及 agentskills.io 域名。該標準自 2025 年 12 月發布以來,已有 ChatGPT、Cursor、GitHub Copilot、VS Code 等 70 多個平台接入,累計發布 100 萬個 skill、安裝近 2.8 億次。
量子位發文吐槽,Fable、Sol 等與 Coding 沾邊的模型普遍輸出「15/15 全綠」「單腿啞火」這類黑話。文中分析,除 Coding 過擬合外,更主要的原因是廠商為省 Token 把思維鏈壓縮成「穴居人語」,OpenAI 最早這麼做,同樣一句話的 Token 消耗比白話文少 70%;Claude 自 Opus 4.6 起也開始如此。作者稱最新 Opus 5.5 語言能力回升明顯,而 Gemini 因輸出風格正常、排版層級清晰,被社群視為少數還能正常溝通的 AI。
SpaceX Super Intelligence(SpaceXSI)將 X Premium、Grok 與 Cursor 合併為一份名為 The X Subscription 的訂閱,分 free、Plus 8 美元、Premium 30 美元、Super 100 美元、Ultra 200 美元五檔,檔位越高 AI 用量上限越高。免費檔僅提供有限的聊天與 agent 用量,最新 Grok 模型需 Premium 及以上;
Anthropic 於 10 月 16 日發布兩份報告:其內部 AI agent 工作時長在 2026 年 3 月已超過員工,到 8 月 agent 數量是員工的 6 倍,同期初級崗位與技術崗招聘佔比下降,人均程式碼、銷售與合同處理產出上升,瓶頸轉向人的注意力。第二份報告對比近 1.1 萬名美國成年人與 Anthropic 員工的調查:91% 的員工認為 AI 能在 2030 年前做出諾獎級發現,美國成年人中僅 39%;
開源命令列工具 RemoveMacAI 可以刪除 macOS 上的 Apple Intelligence 模型資料並關閉相關功能,開發者稱可釋放約 12GB 磁碟空間。macOS 27 移除了此前關閉 Apple Intelligence 的單一設定開關,模型仍留在磁碟上,相關功能被拆散到不同設定面板中。開發者表示,該工具本質上做的就是舊開關的事;手動操作需找到約十幾個設定,其中若干位於螢幕時間(Screen Time)下。
LittleBit 專案放出論文官方實現,可把 LLM 權重壓縮到 1.0 至 0.1 bits-per-weight,推理時保持原模型結構不變。ICML 2026 的 LittleBit-2 新增 Joint-ITQ 初始化,通過 --use_itq 開啟,只改初始化、不增加推理開銷,並支援 SmoothSign 量化感知訓練與可選殘差分解。
OpenAI 產品負責人 Tibo Sottiaux 發帖預告未來模型會更擅長刪除和簡化程式碼,並在評論中確認 Astra 6.1「coming soon」。負責 coding post-training 的研究員 Rajan Agarwal 轉發該帖,並公開徵集使用者遇到的 sloppy code 與程式碼品質問題。《華爾街日報》此前報導,Astra 6.1 原計劃 10 月發布,因內部安全測試中在權限邊界上表現不穩而被臨時叫停。
SemiAnalysis 對 Anthropic、OpenAI 等多家 AI 訂閱計劃做限額實測,結論是同等價位下 Anthropic 訂閱的 API 等價價值是 OpenAI 的 5 倍以上。同一 200 美元/月的 Claude 計劃,其等價價值隨模型與工作負載(輸入、快取寫入、快取讀取、輸出)不同而大幅變化,因此不存在孤立的價值數字。訂閱僅佔 Anthropic 總收入約 10%,卻消耗超過 40% 的推理算力,並把混合每兆瓦收入拉低約 3600 萬美元。
Anthropic 公布新的反蒸餾措施,早期證據顯示蒸餾者獲取的資料量減少約 90%–99%。核心做法是讓 Claude 的推理更難提取:把推理先摘要化後,用 Claude Opus 4.8 完整推理訓練出的模型在 SWE-bench Verified 上得 80.4%,僅用摘要訓練則降到 71.8%。文中點名智譜 GLM-5.3 蒸餾美國模型的網路安全能力,並稱發往 Moonshot Kimi 的請求被秘密轉發給 Claude。
Linux 基金會旗下 AAIF 新增四個託管專案,Anthropic 把 Agent Skills 規範連同名稱、Logo、GitHub 組織與 agentskills.io 域名一併捐出。其餘三項是 OpenAI 統一模型介面的 Open Responses(AWS 已參與維護與開發)、Hugging Face 的訓練環境框架 OpenEnv、阿里的沙箱 OpenSandbox,AAIF 託管專案增至 10 個、會員達 305 家。
據 The Information 報導,Meta 和微軟正在減少員工對 Claude 的依賴,推動開發者轉向自家 AI 工具。Meta 內部 Claude Code 活躍使用者從 6 萬降至 3 萬,減少 50%,由自研的 Muse Code 和 MetaCode 補位,最近一個 28 天週期在 Claude Code 上花費超 1.05 億美元。
IBM CEO Arvind Krishna 在第三季度財報電話會上稱,開源權重模型現已能用前沿模型 10%–25% 的 token 成本實現約 90% 的效果。他回顧差距從 2024 年的 70 分對 20–30 分,縮小到 2025 年底的 70 分對 50 分,認為企業大多數任務(總結郵件、審查合同、客服應答)用便宜模型就夠。由此 IBM 看到本地部署 AI 需求升溫,稱兩三機架即可搭建,但企業缺核心、網路與 GPU 叢集調優人才;
過去四個月 OpenAI 與 Anthropic 輪番降價,部分模型降幅達 80%。7 月 30 日 GPT-5.6 Luna 直降 80% 至每百萬 token 輸入 0.20、輸出 1.20、快取讀取 0.02 美元;9 月 22 日 GPT-6 Sol 與 Claude Opus 5.5 同日發布,定價分別為 2/10/0.20 與 4/20/0.20 美元;9 月 29 日 GPT-6.1 Sol 又把快取讀取價砍半到 0.10 美元,與 Anthropic 持平。
Artificial Analysis 將模型智慧指數升級到 v5.0,評測集換成 9 項新基準。Knowledge Work、Coding、Science、General 四類各佔 25%,單項權重最高為 15%,分別是 AA-Briefcase v1.1、FrontierCode 2.0、Terminal-Bench-Science 0.1 和 AA-Omniscience v1.1;