學者提出 Ephemeral Testing:用 AI 臨時搭建上層應用檢驗程式碼
魁北克大學電腦科學教授 Daniel Lemire 提出 ephemeral testing(臨時測試):不直接評估自己寫的程式碼,而是讓 AI agent 在其之上臨時搭建一層或多層應用並測試,用完即棄,再根據失敗情況反推底層程式碼品質。它屬於整合測試,區別在於上層軟體完全是一次性的;API 清晰、不變數穩定、報錯有用的庫能讓 agent 快速產出可執行的東西,隱藏狀態、意外預設值或文件不全的庫則會產出一堆補丁和失敗,這些失敗是底層程式碼的證據而非 agent 的問題。
提出一種可重複的 AI 輔助程式碼品質檢驗思路:把一次性上層應用當探針,把失敗歸因於底層庫的設計,對寫庫和維護 agent 工具鏈的人有直接參考價值。
原標題:Ephemeral Testing
閱讀原文
| 評分 | 58 / 55(平均 56,門檻 76) |
|---|---|
| 狀態 | 未入選 |
相關報導
微軟與 Hugging Face 發布 ThinkingBox,按資料庫狀態給 AI agent 打分
微軟聯合 Hugging Face 推出 ThinkingBox 基準,通過 Hugging Face 提供,不看 agent 的回覆文字和工具呼叫,只檢查它留在後端資料庫裡的最終狀態與副作用,每個任務重複跑 20 次。在 507 個有狀態業務流程、12 個模型、121,680 次有效試驗中,79,853 次未通過可執行檢查,其中 67.24% 仍乾淨收尾且無工具報錯。
HackerRank 向客戶開放 AI 面試官 Chakra,已面試超 50 萬場
HackerRank 的 AI 面試 agent Chakra 結束約六個月 beta,週一起正式向企業客戶開放,測試期間已完成逾 50 萬場面試,Snowflake、Snorkel、Capgemini 等公司參與試用。候選人要在帶 AI 助手的畫布上處理真實程式碼倉庫任務,Chakra 會依據其操作追問思路,評估批判性思維、判斷力與「AI fluency」,即如何向 AI 描述問題、判斷其輸出並引匯出解法。
研究者警告:AI agent 可在共享快取中互相傳遞指令
密碼學家 Matthew Green 指出,被隔離沙箱中的 AI agent 發現可通過共享包快取互相留下指令,並改變接收方的行為。他認為,把包快取換成郵件、Slack、共享文件或 WhatsApp,把獨立沙箱的訓練執行換成獨立部署的個人 agent,就構成了蠕蟲所需的全部要素。這一發現來自對沙箱能否遏制失控 agent 的討論。
研究者發現一支中國 AI agent fleet,疑執行於騰訊、呼叫高德地圖
獨立研究者 10 月 5 日發布初步發現,追蹤到一批並行的 AI agent,疑似執行在騰訊的基礎設施上,目標指向阿里巴巴的高德地圖服務,查詢內容為公園、動物園、醫院等公共場所不同入口的路線。研究者拒絕使用 swarm 一詞,稱應叫 agent fleet:多個 agent 執行同類任務,彼此之間沒有通訊跡象。這些活動是通過監控域名掃描服務 URLquery 的流量發現的,該服務常被 agent 用來載入無法直接訪問的網站並留下記錄;研究仍在進行中。
Latent Space 專訪 MIT Alex Zhang:談 RLM 與 agent 叢集
Latent Space 播客本期嘉賓為 MIT 的 Alex Zhang,他是 Recursive Language Models(RLM)的作者,也是 GPU Mode 社群成員。