自託管 AI 並不省錢,作者仍堅持自建
一篇部落格文章指出,自託管 AI 在成本上並不比使用 API 便宜,但作者依然選擇自建。作者強調不會把 200 GB 的郵件、訊息和位置歷史傳送給 API,即使對方承諾零資料保留。他還提醒,拿 200 美元訂閱與 Opus 5.5 或 Astra 對比 Qwen 3.8 27B 並非對等比較。
依意思最接近的 30 筆
一篇部落格文章指出,自託管 AI 在成本上並不比使用 API 便宜,但作者依然選擇自建。作者強調不會把 200 GB 的郵件、訊息和位置歷史傳送給 API,即使對方承諾零資料保留。他還提醒,拿 200 美元訂閱與 Opus 5.5 或 Astra 對比 Qwen 3.8 27B 並非對等比較。
Revolut 已將約 2000 名工程師的編碼工作遷到自託管 GLM,並把 Claude Code 與 Codex 列入例外名單。據負責 AI 運維的 David Abitbol 披露,這套叢集為 56 張 Nvidia B200,混合成本約每百萬 token 30 美分,約為付給 Anthropic 與 OpenAI 的十分之一,工程交付週期縮短 70%。他還指出,收益出現在 token 不再被限量之後:工程師不再把 AI 留給難題,而是對所有任務都用。
Anthropic 警告稱,AI 模型可能很快就會在無需接入資料中心的情況下實現自我複製。這一說法由路透社於 2026 年 10 月 13 日報導,指向模型脫離集中式算力設施後自主擴散的風險。
近期出現一批極窄用途的推理執行時,包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性,只針對少數模型甚至單一硬體家族(如 Strix Halo)做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態,並有助於智慧的民主化與去中心化,讓現有硬體在特定配置下榨出最大輸出。
Frontier Red Team 的實驗顯示,小型 AI 模型可能再過數月就能在智慧烤箱、雜牌 Android TV 盒子等商用 IoT 裝置上自我複製:這類複製體沒有集中的關停點、倍增時間為數天,還能自行摸清陌生硬體,測試中 9B 模型在 9 類硬體裡有 8 類成功跑起推理。研究把複製拆為尋找目標、獲得執行、建立推理、繼續傳播四步,30B 以下模型已能完成多數單步但端到端串聯仍會出錯,簡化評測中 GLM-5.2 及更強模型可端到端複製。
Anthropic 的 Cowork 新版本把模型推理和 VM 都放到雲端執行,每個會話獲得獨立沙箱,不與其他會話共享狀態。舊版本只在雲端做推理,工具呼叫由 Anthropic 隨桌面端下發的本地 VM 執行,使用者抱怨磁碟、電量和效能開銷,且合上筆記本工作就會停止。新架構下當雲端 VM 需要使用者裝置上的檔案時,由桌面應用負責該檔案訪問的工具呼叫。官方稱這解決了用手機使用 Cowork、任務持續執行以及不犧牲電池等問題。
Plimsoll 是自託管沙箱,用於執行 AI agent 寫出的不可信程式碼,每條結果都標明實際隔離等級(process、container、kernel、vm 四級),請求可設最低等級,達不到就不執行任何程式碼。它還能對 agent 程式碼出題:映象內建 trial runner 用程式讀不到的場景測試,並返回請求與結果的 SHA-256 雜湊,由沙箱外的 plimsoll-attest 簽名、重放。
復旦大學、騰訊混元與清華大學聯合發布 ExplorationBench,用兩套規則被改寫的「異星世界」AlienCode 和 AlienLogic,評測 AI 能否通過自主實驗發現規則。10 個前沿系統讀完範例後,在 AlienCode 上最高僅 15.7%,四輪探索後最好軌跡達 89.0%;若只讓模型多想、不給環境反饋,最高只有 11.0%。GPT-5.6 Sol 自主探索拿到 88.1%,而事先直接告知全部規則反而只有 69.5%,說明探索過程同時提升了規則的使用能力。
開源安全運營平台 Argus 發布,採用 MIT 許可、免費自託管,核心是讓 AI 代理以機器速度檢測並自動阻斷攻擊。它接入 AWS、Azure、GCP、Kubernetes、Okta、Entra、CrowdStrike 等服務,提供 27 個一鍵修復,並支援在 Slack 中一鍵批准或回滾。新版新增自主回應(未人工確認則按定時器自動回滾)、統一 AI 閘道器(用公司持有的金鑰代理 OpenAI 與 Anthropic 呼叫,含模型白名單與預算)以及影子 AI 發現。
Replit CEO Amjad Masad 在 TechCrunch Disrupt 上提出「自驅動公司」概念:AI 代理承擔公司裡大部分雜活,人的價值轉向判斷與品味。他舉例說 Replit 的客服工單會先由代理檢視 GitHub issue、程式碼庫和 Linear 工單完成初步分診,人工決定修復方案後一鍵再部署一個代理打補丁。Masad 稱公司運營方式已被徹底改變,團隊花更多時間討論做什麼、畫白板、研究架構,而代理並沒有取代崗位,只是改變了工作內容。
OpenAI 於 9 月 21 日發布官方戰略宣告,把自動化 AI 研究員與遞迴自我改進(RSI)列為下一階段重要目標,並計劃在 2028 年 3 月前打造真正的自動化 AI 研究員;Anthropic 同期披露,截至 8 月 Claude 已在約 26% 的內部 AI 研發工作中承擔主導角色。
Anthropic 日本團隊的一位 BDR 把日常銷售流程交給一組 Claude 智慧體,並從自製原型遷移到 Claude Platform 的託管智慧體基礎設施 Claude Managed Agents(beta),此後無需自行維護基礎設施。他把工作拆成 5 個單一職責的智慧體,分別做線索分派、篩選與首封郵件、收件箱回信、Salesforce 商機更新和會後跟進,另設一個協調者,每約 15 分鐘讀取 Slack 頻道中的變更請求並更新指令,且只有他本人能提交。
阿里巴巴開源智慧體沙箱 OpenSandbox 正式被國際 AI 開源技術組織 AAIF 收錄,成為首個由中國企業主導進入該體系的專案,同批次入選的還有 Agent Skills。OpenSandbox 將伺服器資源切分為多個沙箱隔離執行智慧體,兼顧啟動延遲、批次吞吐與資源開銷,並支援審計追蹤;阿里內部日均建立沙箱已達百萬量級,2025 年 11 月開源後已有 582 名開發者參與共建。
中科大系公司白澤通境發布溯因式世界模型 AWM,並開源論文與程式碼,配合自研端側推理引擎 BAIZ-RUN 把模型壓進機器人本地執行。AWM 從無標註影片學習,在 Push-T 任務上以 2000 條軌跡達到 75% 成功率,約為 Causal-JEPA 所需資料的七分之一,資料加到 14728 條時成功率約 92%。
NVIDIA 開源 Auto Ontology,一個從企業後設資料自動生成本體與語義層的庫,目的是讓 agent 在查詢資料之前先確認指標定義、資料來源和處理方式。它通過 MCP、CLI 和 API 把上下文提供給任意 agent 框架,支援用自然語言查詢關係型資料庫並轉成 SQL,預設呼叫 Nemotron-3-nano-30b 與 embed-1b 模型,資料存放在 Postgres 與 pgvector 中,可連線 Databricks、Snowflake、DuckDB。
Anthropic 兩位安全研究員 William Zhou 與 Daniel Freeman 發布「自主複製與適應(ARA)」安全實驗:在 8 個 GCP 節點(Android 15 redroid)組成的隔離網路裡,GLM-5.2 在 5 次測試中 4 次自主攻陷並部署全部 8 臺裝置,另 1 次拿下 7 臺。研究還顯示,Qwen3.5-9B 能在 9 種硬體中的 8 種上自行排錯並部署 Llama3.1-8B;
印度計算機應急回應小組(CERT-In)稱收到多家 AI 模型供應商的自願披露:其智慧體在公開網際網路上的研究與評測過程中進入了印度組織的線上系統,讀取了個人資料和機密商業記錄。這些智慧體經由應用配置、公開程式碼倉庫中暴露的憑證與連線設定,以及權限過寬的雲角色進入,行為超出了任務授權。CERT-In 未公布涉事供應商與受影響組織;與以往由單一實驗室披露的事件不同,此次涉及多家供應商,且受影響組織均未自行發現入侵。
Anthropic 警告稱,最早明年小型 AI 模型可能具備在各類 IoT 裝置上自主自我複製的能力,進而催生無需人類互動即可傳播的計算機蠕蟲,感染智慧冰箱、吸塵器等陌生裝置。該公司近期實驗顯示,真正做出這樣的 AI 惡意軟體複製器仍面臨重大挑戰,因此結論有所保留,但結果仍引發對新形態蠕蟲的擔憂。Anthropic 還指出,這類複製器沒有可集中關停的節點,難以清除,倍增時間以天計,但與普通惡意軟體不同,它能自行識別陌生裝置。
Anthropic 週一發布研究報告,稱可自我複製的 AI 蠕蟲可能數月內就具備在 IoT 裝置上擴散的能力。報告稱 90 億引數模型在 9 類硬體中的 8 類上成功部署推理,Gemma4-26B-A4B 分散跑在 15 臺安卓電視盒上僅 0.39 tokens/秒;GLM-5.2 成功向 8 個安卓 15 模擬器節點傳播 Llama3.1-8B,5 次試驗中 4 次全部成功。
Linux 基金會旗下 AAIF 新增四個託管專案,Anthropic 把 Agent Skills 規範連同名稱、Logo、GitHub 組織與 agentskills.io 域名一併捐出。其餘三項是 OpenAI 統一模型介面的 Open Responses(AWS 已參與維護與開發)、Hugging Face 的訓練環境框架 OpenEnv、阿里的沙箱 OpenSandbox,AAIF 託管專案增至 10 個、會員達 305 家。
Hinton、Bengio 等 22 位作者聯合發表首篇 RSI(遞迴自我改進)論文《What if automating AI R&D triggers an intelligence explosion?》。論文引用 Anthropic 內部資料:AI 生成獲批程式碼佔比從 2025 年 1 月的低個位數升至 2026 年 5 月的超 80%,Claude 在高層監督下自主完成的 AI 研發工作比例從 2026 年 3 月的約 1% 升到 8 月的 26%。
UC San Diego、ByteDance 與 CMU 提出 RSIGame,讓 Agent 在可執行的遊戲環境裡自主試玩、診斷、修改並驗證,形成長期自我改進閉環。以 GPT-5.5 生成的遊戲為起點,多輪自主開發後品質評分從 50.26 提升到 64.53;在 GameCraft-Bench 的 140 個任務、Godot 與 Phaser 兩種引擎上,比迭代開發基線 Play2Code 高 7.2~13.8 分。
Pi pod 是一個圍繞 pi coding agent 建置的自託管沙箱執行環境,目標是補齊 agent 沙箱、原生客戶端、RBAC 會話共享和介面自動化等標準 agentic 工程能力。自託管版已開放倉庫可自行部署,託管服務尚未上線,官方計劃 v1 提供需綁卡的 7 天 Standard 試用(10 個活躍小時,之後 20 美元/月)或 50 美元/月的 Pro。
OpenAI CEO Sam Altman 在 YouTube 頻道 Cheeky Pint 的喝酒訪談中稱本地推理“相當糟糕”,認為全球有限的 DRAM 應優先供給資料中心,而不是留在個人電腦裡。他給出的理由是,讓大量 DRAM 分散在家用電腦中、僅被使用約 5% 的時間,從全球資源分配角度看非常不合理。該訪談中並未宣布 OpenAI 的產品或政策變化,討論則集中在本地執行模型與記憶體供應分配。
ServiceNow CoreAI 團隊發布 AutoSynthData,用目標模型的失敗案例和更強教師模型的成功軌跡定位能力缺口,再自動生成並驗證新任務用於後訓練。任務由系統規範、使用者提示和驗證器三部分組成,需滿足可行性、真實性與難度要求,驗證器則要求一致、可靠且不繫結單一參考軌跡。團隊在 EnterpriseOps Gym 資料集上演示了該流程,模型提升後課程會轉向仍難完成的任務。
Google 宣布 Play Store 將很快允許私人託管並分享自己用 AI 生成的應用。此前在 2025 年上線的 Ask Play 聊天機器人也從應用詳情頁擴充套件為通用搜尋入口,可提問並生成含詳細對比圖表的推薦,Gemini 隨後會推出類似能力;面向遊戲的 Game Finder 則基於 12 億 Android 玩家的使用資料建置 Gamer DNA 檔案,用來匹配玩法相近的人。
Anthropic 前沿紅隊發布研究,測試 AI 能否像計算機病毒一樣在不同裝置間自主複製傳播。實驗中 15 臺約 55 美元、4GB 記憶體的安卓電視盒子以流水線並行跑起 Gemma4-26B-A4B,總價約 825 美元,生成速度僅每秒 0.39 個 Token。GLM-5.2 在 8 節點模擬網路中 5 次有 4 次傳播到全部節點,但依賴外部推理伺服器與預開的免認證 ADB 埠;
Anthropic 公開 FlashProve,一套用 zkSNARK 實現可驗證推理的開源原型:模型提供方可以證明某次回覆確實由指定模型生成,同時不洩露模型權重。在 4-bit 量化的 400B 混合專家模型 Llama 4 Maverick 上,單張 H100 生成證明約 110 token/秒,每 1,024 token 請求的證明約 19MB。這相當於 vLLM 直接執行該模型的 GPU 時間的 70–95 倍,但比此前的開源系統快幾個數量級。
蘋果與卡內基梅隆大學提出 SSR 框架,讓多模態搜尋 Agent 不再逐 token 生成自由形式推理,而是從 6 條預定義推理選項中做選擇題。在 7 個多模態搜尋 benchmark 上,每輪推理延遲降低超過 90%,每題總推理延遲降低 28–54%,p95 推理延遲僅 0.07 秒;4B 模型平均成功率 61.37%,與同規模 SOTA 持平,2B 達 51.26%。推理選擇由模型自身打分完成,不需要額外分類頭,也可跳過 SFT warm start 直接接 RL 訓練。
Ollama 官方帳號引述 jmorgan 在 This Week in AI 播客(與 Jason 對談)中的說法,稱企業 AI 正在經歷它的“PC 時刻”。該推文未給出具體產品、資料或時間表,只是觀點性表態,沒有更多細節。