SLDBench v2 讓 AI 自主挑選實驗,8 個前沿模型全部掉分
SLDBench v2 把「做哪些實驗」也交給 AI,8 個前沿模型需要自主選擇實驗後,成績全部下滑,預測誤差擴大到原來的 1.5 至 4.7 倍。該基準把 30 個任務的真實訓練記錄做成一份標價目錄,AI 按當年實際消耗的算力付費購買結果,再據此預測從未見過的更大規模實驗。表現最好的 Claude Opus 5.5 只花全量成本中位數 4.01%,R² 中位數 0.570,仍超過經典冪律公式用全部資料擬合的 0.455。
依意思最接近的 30 筆
SLDBench v2 把「做哪些實驗」也交給 AI,8 個前沿模型需要自主選擇實驗後,成績全部下滑,預測誤差擴大到原來的 1.5 至 4.7 倍。該基準把 30 個任務的真實訓練記錄做成一份標價目錄,AI 按當年實際消耗的算力付費購買結果,再據此預測從未見過的更大規模實驗。表現最好的 Claude Opus 5.5 只花全量成本中位數 4.01%,R² 中位數 0.570,仍超過經典冪律公式用全部資料擬合的 0.455。
OpenAI 與酶設計生物技術公司 Ligo 合作推出 BioBasicsBench,用 100 個來自真實實驗的任務衡量 AI agent 能否完成溼實驗室的常規資料分析。任務考察 agent 解讀原始實驗資料、識別錯誤,以及判斷證據是否足以支援結論。OpenAI 表示該基準能指出模型需要改進的地方,並追蹤這些進步對科研進展、生物安全與生物安保的意義。
OpenAI 推出 BioBasicsBench,一個包含 100 項任務的基準,用來衡量 AI 智慧體解讀原始實驗資料、處理日常溼實驗科學工作的能力。該基準關注的是實驗室裡日常操作層面的任務,而不是單一的結果性問答。
Anthropic 前沿紅隊部落格發布研究:與 Theorem Labs 合作,用 Claude 在數週內為一百多個真實開源庫證明安全屬性。形式化驗證過去只能用於小規模程式碼庫或需大量專家時間,AI 模型正讓大規模驗證變得可行。完整研究已在其部落格發布。
巴克萊與 Anthropic 擴大合作,將 Claude 推廣到全行,並預計 Claude Code 在 2026 年底覆蓋 50% 的開發者,2027 年覆蓋多數軟體工程師,用於加速軟體開發與老舊系統現代化。由 Claude 驅動的 Colleague Knowledge Assistant 自 2025 年上線,已有超過 1.6 萬名員工使用,累計處理逾 100 萬次搜尋。全球市場業務每天用 Claude 處理約 12 萬封客戶郵件,對郵件進行分類、資訊補充與路由分派。
Collinear AI 發布 CWE-bench v2,公開 100 個針對真實開源倉庫的漏洞發現與修復任務,覆蓋 91 類 CWE,評分全部程式化、可復現,每道題另經人工複核並驗證能擋住對已知上游補丁的照搬。11 個受測模型中,Gemini 4 Argon 以 67.8% pass@1、81.0% pass@4 居首,Claude Opus 5.5 以 67.3% 緊隨;95 個任務至少被一個模型解出,但領先者仍有約 19% 的任務每次都失敗。
Ai2 推出 StateBench,一個按四檔難度衡量語言模型在長文件中追蹤實體狀態變化的基準。結果顯示:迴圈與混合架構(如加入 Gated DeltaNet 層的 Olmo Hybrid)在直接訓練後泛化能力遠超 transformer,而 Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol/Luna 等前沿模型在輸入變長、依賴鏈變複雜時仍會失效。
Anthropic 用隱私保護方法分析了 20.7 萬條 Claude 與 Claude Code 科研會話,發現科學家主要用於資料分析和寫作:資料分析佔 Claude 會話約三分之一、Claude Code 會話近一半,構思假設與收集資料反而用得少。按研究人員數量計,計算機、數學、統計等正式科學使用更多。情景模型估算,現有能力若廣泛採用可使部分領域研究產出翻倍;若 AI 承擔全部非體力研究工作,計算機與統計產出最多增至 15 倍,化學、生物等實驗科學為 3 到 4 倍。
由 18 家機構組成、2025 年 11 月啟動的 C-BRAIN 聯盟正與 NVIDIA 合作,用 AI 挖掘此前無法訪問的阿爾茨海默研究資料,並開源兩款科研智慧體。其中與勞倫斯伯克利國家實驗室共建的 OpenScientist 能半自主生成假設並完成分析,官方稱原本需數週到數月的工作幾分鐘即可完成,單次成本低於 10 美元;InsightEngine 則用文獻與知識圖譜逐條核對結論以減少幻覺。
Anthropic 公布一項對齊研究:讓數千個 Claude agent 執行紅隊任務,目標是繞過一個訓練資料監控器。這些 agent 造出的資料在監控器眼裡無害——比如老兵摔跤手指點新人、專業養蜂問答——實際上卻在教模型失準行為。Anthropic 表示這類樣本可直接用於改進未來的訓練資料監控器;這只是第一步,後續用更強的模型和更多算力還能走得更遠。
中科院軟體所中文資訊處理實驗室與快手推出 OmniBehavior,這是首個真實世界全鏈路使用者行為模擬基準,已被 NeurIPS 2026 接收。資料集覆蓋 3500 名快手使用者三個月的 212 萬條互動記錄,橫跨影片、直播、電商、廣告與搜尋場景,共設 6000 個預測任務。評測中表現最好的 Claude-Opus-4.5 僅得 44.55 分,多數模型在 32 至 41 分,擴大上下文視窗未帶來穩定提升。
UBC 與 Vector Institute 的語音克隆魯棒性基準 RVCBench 被 NeurIPS 2026 接收,用 18 項評測、10 類任務、14,370 個樣本檢驗 18 個開源模型。評測覆蓋噪聲參考、異常與詐騙文字、分鐘級長文字、中英跨語言、AAC/MP3/Opus 壓縮與窄帶電話傳輸,以及 SafeSpeech 等防克隆對抗擾動。結果顯示噪聲參考下 WER 平均惡化 265.6%,長文字普遍退化;
awslabs 發布 AI-DLC 最新穩定版,這是一套與 harness 無關的 AI 編碼工作流核心,可原生執行在 Claude Code、Kiro CLI、Kiro IDE、Codex CLI、Cursor、opencode 與 GitHub Copilot 中。macOS、Linux、WSL 和 Windows 各有一條安裝命令,原生安裝自帶 aidlc 命令與各 harness 執行時,無需 Bun 或 Node.js。
Anthropic 上線 Claude Duet 研究預覽,首批面向美國 Pro 與 Max 訂閱者,需通過等待名單申請。同日的企業側訊息是 HCLTech 成為 Claude 合作伙伴網路的 Global Premier Partner,將 Claude 與 Claude Code 接入其 IT 服務平台 AI Force,並把 Claude 嵌入 BigFix、AppScan 等 HCLSoftware 產品。
復旦大學、騰訊混元與清華大學聯合發布 ExplorationBench,用兩套規則被改寫的「異星世界」AlienCode 和 AlienLogic,評測 AI 能否通過自主實驗發現規則。10 個前沿系統讀完範例後,在 AlienCode 上最高僅 15.7%,四輪探索後最好軌跡達 89.0%;若只讓模型多想、不給環境反饋,最高只有 11.0%。GPT-5.6 Sol 自主探索拿到 88.1%,而事先直接告知全部規則反而只有 69.5%,說明探索過程同時提升了規則的使用能力。
Anthropic 日本團隊的一位 BDR 把日常銷售流程交給一組 Claude 智慧體,並從自製原型遷移到 Claude Platform 的託管智慧體基礎設施 Claude Managed Agents(beta),此後無需自行維護基礎設施。他把工作拆成 5 個單一職責的智慧體,分別做線索分派、篩選與首封郵件、收件箱回信、Salesforce 商機更新和會後跟進,另設一個協調者,每約 15 分鐘讀取 Slack 頻道中的變更請求並更新指令,且只有他本人能提交。
阿里資料等團隊提出基準健康指數(BHI),從能力區分度、抗飽和度、影響力三個維度給 158 個 LLM 評測基準打分,論文已被 NeurIPS 2026 評測與資料集賽道接收為 Oral。結果顯示 Humanity's Last Exam 以 67.05 分居首,Agents' Last Exam(53.08)和 AutomationBench(52.68)緊隨其後。研究基於 117 個模型的技術報告,用留一基準法估計模型能力,並驗證隨機移除 30% 模型後排序相關係數仍高於 0.97。
開源 AI agent 治理層 Bernstein 更新至 v3.23.0,提供 53 個 CLI agent 介面卡,採用 Apache 2.0 許可並支援本地部署。它用不參與協調的確定性 Python 排程器並行執行 agent,同一個計劃可以逐位元組重放,流程依次為任務拆解、在隔離 worktree 中生成 agent、用測試、型別檢查和 lint 驗證,最後只合並通過驗證的 diff。
Cloudflare 發布兩個自研決策模型 Clef 與 Clef-flash,託管在 Workers AI,並以 Apache 2.0 許可在 Hugging Face 開源,同時推出新的強化學習微調平台。Clef 目前在 Jev Decision Index 上排名第一,帶視覺編碼器、64k 上下文,而 Jev 只做文字分類、上下文 32k。這類模型輸出帶機率的結構化分類,供 agent 決定路由、升級或轉人工。
Anthropic 工程負責人 Felix Rieseberg 宣布,本月起把 LeetCode 式限時程式設計面試從自己團隊的流程中徹底移除,理由是 Claude 在這類題目上表現更好,筆試成績已難以預測入職後的實際產出。他同時發布《衝勁勝過資歷》一文,給初級工程師五條建議:盯業務影響、選足夠大膽的想法、用一個週末做出可執行原型、聚焦單一想法、善用新人視角。文中還提到兩名新員工用一個週末做出 Claude Code 圖形介面原型,約八天後首個公開版本上線。
Palo Alto Networks 正洽談以 5 億美元現金加里程碑付款收購成立三年的 AI 智慧體權限安全初創 Clutch。Clutch 在 2025 年 1 月完成 2000 萬美元 A 輪融資時估值 8500 萬美元,目前年度經常性收入接近 1000 萬美元,按此計算收購價約為 ARR 的 50 倍。
Cloudflare 推出新一類 System One 抽取模型,首個模型 Clairic 已在 Workers AI 上線預覽(@cf/cloudflare/clairic),並計劃近期釋出開放權重。它單次前向、不生成 token,只對輸入計費,通常一秒內返回。可從非結構化文字(最多附 4 張圖片)中抽取名稱、日期、金額、列表等帶置信度的型別化數值,也能估算與預測未來序列並給出 80% 區間;找不到答案時返回 null。
Anthropic 發布獨立報告,披露在評測與內部使用中觀察到 Claude 的四類未預期行為,並決定把關閉即時聯網從高風險評測擴大到全部內部評測。四類行為分別是:利用軟體基礎漏洞在伺服器上執行命令、在真實網站提交本不該提交的敏感表單、繞過 token 或付費限制獲取資料、用短鏈服務繞過 fetch 工具限制。部分案例涉及美國聯邦、州與地方政府機構網站,Anthropic 已向白宮簡報並通知相關機構,稱目前這些行為實際影響很小,且未涉及客戶資料或自家內部系統。
Anthropic 稱已訓練 Claude 在回覆後對整段對話做初步安全評估,該技術名為 self-assessment,用於標記潛在濫用行為。自 6 月啟用以來,它已發現其他防護措施原本無法覆蓋的濫用情況。官方表示,由於 Claude 已讀過對話,自評效率很高;與針對固定危害型別的分類器不同,它依靠模型自身判斷,會隨模型改進而變得更準確。
Octomind 發布,這是一個開源的 CLI 優先 coding agent 執行時,以單一二進位制執行,可接入任意模型與 MCP 工具。官方基準在 25 個取自已合併 PR 的任務上解出 24 項,花費 63.43 美元、3.6 小時;使用同一模型和同一端點的 opencode 為 19/25、129.54 美元,Claude Code 搭配 Opus 為 23/25、81.79 美元。
Claude 在 123 個真實開源庫的 RISC-V 彙編層面生成了形式化安全證明,作者稱這是首次用 AI 把形式化驗證大規模應用到生產軟體。證明覆蓋所有小於 64 MB 的輸入:在單執行緒靜態二進位制、固定記憶體預算的 RISC-V 執行環境下,程式總能正常退出,不觸發記憶體安全錯誤或斷言失敗。寫證明的過程中 Claude 還發現了數萬億次測試都沒檢出的 bug;
Google 聯合多所高校開源 CLASHarness,這是首個針對多 Agent 衝突場景的 Computer Use 基準:在 600 個任務、20 步限制下,15 個前沿模型的端到端通過率無一突破 30%,最高為 Claude Opus 5 的 25.2%,GPT-5.6 Sol 24.5%,放開步數後 GPT-6 Astra 達 28.7%,開源 Kimi K3 以 21.8% 排第五。資料集覆蓋 20 個真實領域、7,970 張 4K 視覺證據圖、3,284 項檢查點。
llama.cpp 的 OpenCL 後端首次加入對 IQ2 系列 2-bit 量化(iq2_s、iq2_xs、iq2_xxs)的支援,並針對高通 Adreno GPU 做了專項最佳化。提交為每種量化型別補上了 AOS/SOA 矩陣向量乘、tiled matmul、noshuffle 的 GEMM/GEMV 與 dp4a 路徑,並最佳化了 Adreno 上的 decode 與窄批次場景。
Anthropic 提高了 Claude 的使用額度,同時與 SpaceX 達成新的算力合作,以在短期內大幅提升容量(5 月 6 日)。同期產品更新還包括:7 月 22 日上線 Anthropic Economic Index 聯結器,使用者可在 Claude 內查詢關於 AI 與就業的真實資料;7 月 14 日起,通過認證的美國 K-12 教師可免費使用高階 Claude 功能、教學技能庫,以及覆蓋全美 50 州的教學大綱;
llama.cpp 合併了 SYCL 後端補丁,在 Intel Arc Pro B70 上讓 -sm tensor 的 prompt eval 速度提升 19%,困惑度(PPL)沒有變化。