論文:Lean 驗證 AI 形式化證明不等於原證明正確
arXiv 新論文指出,用 Lean 機械驗證 AI 自動形式化的數學證明,並不能保證原始自然語言證明本身正確。作者 Bastounis、Circelli 與 Hansen 證明,要做到語義忠實的翻譯必須消解自然語言數學文字的歧義,而該問題在可解複雜度指數(SCI)層級中為無窮,比停機問題(SCI=1)更難。
依意思最接近的 9 筆
arXiv 新論文指出,用 Lean 機械驗證 AI 自動形式化的數學證明,並不能保證原始自然語言證明本身正確。作者 Bastounis、Circelli 與 Hansen 證明,要做到語義忠實的翻譯必須消解自然語言數學文字的歧義,而該問題在可解複雜度指數(SCI)層級中為無窮,比停機問題(SCI=1)更難。
Anthropic 宣布擴充套件 Cyber Verification Program(網路安全驗證計劃),讓經過驗證的安全專業人員能更廣泛地訪問其能力最強的模型。通過該計劃,驗證過的安全從業者可訪問 Claude Mythos 5.1、Opus 5.5 和 Sonnet 5.5,並配有面向防禦性工作的安全防護措施。同時新增層級,允許開展經授權的攻擊性安全工作,例如滲透測試與紅隊演練。
魁北克大學電腦科學教授 Daniel Lemire 提出 ephemeral testing(臨時測試):不直接評估自己寫的程式碼,而是讓 AI agent 在其之上臨時搭建一層或多層應用並測試,用完即棄,再根據失敗情況反推底層程式碼品質。它屬於整合測試,區別在於上層軟體完全是一次性的;API 清晰、不變數穩定、報錯有用的庫能讓 agent 快速產出可執行的東西,隱藏狀態、意外預設值或文件不全的庫則會產出一堆補丁和失敗,這些失敗是底層程式碼的證據而非 agent 的問題。
一份面向 AI agent 的評估方法與開源工具 agent-eval 發布,主張用可重複的評估流程替代憑感覺看輸出。方法以關鍵使用者旅程(CUJ)定義成功標準,每個條件都對應一個評估點,先用模擬使用者 LLM 生成正常與邊緣場景,再在單元測試、確定性指標、LLM-as-a-judge 評分與整合測試四層做檢查。
ServiceNow CoreAI 團隊發布 AutoSynthData,用目標模型的失敗案例和更強教師模型的成功軌跡定位能力缺口,再自動生成並驗證新任務用於後訓練。任務由系統規範、使用者提示和驗證器三部分組成,需滿足可行性、真實性與難度要求,驗證器則要求一致、可靠且不繫結單一參考軌跡。團隊在 EnterpriseOps Gym 資料集上演示了該流程,模型提升後課程會轉向仍難完成的任務。
Cloudflare 上線一套持續評估 Verified 機器人行為的系統,依據爬蟲是否遵守 robots.txt 與 HTTP 429 等站點偏好,生成可解釋的信任分級。持續減速或暫停會提升信任,反覆無視訊號則降低;評估看長期模式而非單次違規。該系統目前在 Cloudflare 內部使用,之後計劃向所有客戶開放並由客戶自選信任閾值,評分也將在 Radar 公開。
舊金山初創公司 Industrial Next 在 TechCrunch Disrupt 2026 上宣布與 BMW 集團技術辦公室合作,評估其 AI 靈巧操作技術用於製造。該公司由兩位前特斯拉工程師於 2021 年創立,做的是基於自研基礎模型的機器人工作站,把視覺、任務上下文與運動控制打通,用高保真模擬訓練,產線換型從數週縮短到數分鐘,無需傳統程式設計。其工作站已在某款熱門手機的生產中使用,負責柔性排線穿線、聯結器扣合等此前難以自動化的工序;
清華團隊開源後訓練模型 VeriLoop E2,由獨立外部 Verifier 決定候選狀態能否獲得提交資格,而非依賴模型內部置信度。該模型以 Qwen 3.8-27B 為基礎,面向程式碼、數學與物理三類可外部驗證任務,並同步發布標準權重與覆蓋 BF16 至 IQ1_M 的 GGUF 量化版,其中 Q6_K 為 20.566 GiB,比 BF16 小 58.96%。
總部位於安娜堡的 Laplace Intelligence 為機器人和物理 AI 做自動化紅隊測試,用 AI 代理自動設計極端場景,在部署前找出並修復問題。其模擬基於 Nvidia Cosmos 的後訓練版本,可按真實尺度重建從亞利桑那高速到巴黎人行橫道的場景,支援用語言提示即時改動設定,交通資料來自 TomTom,場景中其他參與者也會即時避讓。客戶包括五十鈴、自動駕駛卡車公司 Bot Auto 與 Nvidia,並與 T-Mobile 在聖何塞合作智慧城市試點。