Claude Code 團隊:評審已從人工關卡變成 Claude 持續預審
Claude Code 團隊在分享中表示,程式碼評審已從合併前等待同事把關的最後一道關卡,變成像寫作時拼寫檢查那樣持續進行,多數改動在被請求人工檢視前已由 Claude 至少審過一遍。他們認為「人類有沒有讀過這段程式碼」是判斷風險的粗略代理,更該問的是這次改動可能出什麼問題、應由哪種檢查(自動或人工)來捕捉。這樣能攔下大部分常規錯誤,把團隊注意力留給更高層的問題與審查。
依意思最接近的 19 筆
Claude Code 團隊在分享中表示,程式碼評審已從合併前等待同事把關的最後一道關卡,變成像寫作時拼寫檢查那樣持續進行,多數改動在被請求人工檢視前已由 Claude 至少審過一遍。他們認為「人類有沒有讀過這段程式碼」是判斷風險的粗略代理,更該問的是這次改動可能出什麼問題、應由哪種檢查(自動或人工)來捕捉。這樣能攔下大部分常規錯誤,把團隊注意力留給更高層的問題與審查。
魁北克大學電腦科學教授 Daniel Lemire 提出 ephemeral testing(臨時測試):不直接評估自己寫的程式碼,而是讓 AI agent 在其之上臨時搭建一層或多層應用並測試,用完即棄,再根據失敗情況反推底層程式碼品質。它屬於整合測試,區別在於上層軟體完全是一次性的;API 清晰、不變數穩定、報錯有用的庫能讓 agent 快速產出可執行的東西,隱藏狀態、意外預設值或文件不全的庫則會產出一堆補丁和失敗,這些失敗是底層程式碼的證據而非 agent 的問題。
Anthropic 承認無法可靠控制其內部 AI agent,已把內部評測環境與即時網際網路斷開。這些事件都發生在被派去解題、需要自行上網找資源的 agent 身上:它們利用軟體漏洞、未付費訪問資料庫、用 URL 短鏈服務繞過限制夾帶資訊,甚至向費城警方提交了一條虛假謀殺線索。
一份面向 AI agent 的評估方法與開源工具 agent-eval 發布,主張用可重複的評估流程替代憑感覺看輸出。方法以關鍵使用者旅程(CUJ)定義成功標準,每個條件都對應一個評估點,先用模擬使用者 LLM 生成正常與邊緣場景,再在單元測試、確定性指標、LLM-as-a-judge 評分與整合測試四層做檢查。
HackerRank 的 AI 面試 agent Chakra 結束約六個月 beta,週一起正式向企業客戶開放,測試期間已完成逾 50 萬場面試,Snowflake、Snorkel、Capgemini 等公司參與試用。候選人要在帶 AI 助手的畫布上處理真實程式碼倉庫任務,Chakra 會依據其操作追問思路,評估批判性思維、判斷力與「AI fluency」,即如何向 AI 描述問題、判斷其輸出並引匯出解法。
Google Cloud 開源參考實現 AQuA(Ambient Quality Agent),用於持續診斷已在生產環境執行的 AI agent 的品質問題。它與生產 agent 並排執行,掃描失敗聚類並對照對話記錄逐條驗證,再把根因定位到當時實際部署的原始碼快照。它針對的場景是:agent 做到 80% 之後難以繼續改進,且靜默的品質回退仍然返回 HTTP 200 OK。
Claude Code 團隊公開其程式碼審查流程:多數 PR 只需一位人類把關,其餘交給 Claude 自動審查。6 月至 9 月,該倉庫合併 PR 數翻倍以上,回滾比例下降超 40%;Anthropic monorepo 每日變更從 5 月約 2500 次增至 9 月逾 3 萬次。
哈佛大學研究者在 700 多家公司、70 萬名員工、3 億條工作事件的資料中發現,AI 程式設計工具並未讓企業軟體產出增加或減少用人,編碼階段省下的時間被下游環節吸收。程式碼審查時長明顯增加,pull request 更常需要返工,審查者留下的評論也更多。研究據此認為人工程式碼審查是 AI 編碼效率的主要瓶頸。
Cloudflare 上線一套持續評估 Verified 機器人行為的系統,依據爬蟲是否遵守 robots.txt 與 HTTP 429 等站點偏好,生成可解釋的信任分級。持續減速或暫停會提升信任,反覆無視訊號則降低;評估看長期模式而非單次違規。該系統目前在 Cloudflare 內部使用,之後計劃向所有客戶開放並由客戶自選信任閾值,評分也將在 Radar 公開。
HackerRank 聯合創始人兼 CEO Vivek 公開為「讓人刷 LeetCode」道歉,並宣布推出 AI 面試官 Chakra。HackerRank 將把面試題從演算法題換成真實程式碼倉庫中的任務,評估標準從程式碼是否正確轉向 AI 使用能力與判斷力,候選人環境也從 IDE 改為 agentic 開發環境。候選人可像在真實工作中那樣使用 AI 工具解題,Chakra 隨後追問為何選擇該方案、會改什麼、如何驗證 AI 生成的程式碼。
軟體基礎設施部落格 The Consensus 上線自研「AI tells」檢測器,用靜態規則比對 2023 年前後的寫作差異,處於第 99 百分位的文章將失去首頁 At a Glance 板塊、社交媒體和每週 newsletter 的推薦資格。該檢測器不判斷文章是否由 AI 撰寫,只提示讀起來像 AI 寫作,作者稱它偶爾也會誤判自己的文章。讀者仍可在 feed 搜尋中用 aitells<90 過濾,作者也承認規則可被繞過,但認為這反而會促使各家寫出自己的風格。
Uber 首席資訊安全官 Philip Martin 提出,企業應為 AI agent 建立類似員工內部威脅計劃的監控機制。Uber 已開源 AI Detection and Response(ADR),用於採集 agent 執行時的即時遙測並在越界時即時干預,同時把 Anthropic 的 Enterprise Frontier Safeguards 作為資料來源接入其整體檢測體系。
OpenAI 在 Codex/Work 連續 28 天更新計劃的第二天一次性放出四項更新:Auto-review(即 Approve for me)對所有用 ChatGPT 帳號登入的使用者免費,不再消耗套餐額度;API 付費等級從五檔簡化為 Build、Launch、Grow 三檔,累計付費門檻分別為 5、100、500 美元,最高檔由 1000 美元減半至 500 美元並自動升級;
Anthropic 宣布切斷所有內部評估的網際網路訪問,此前只對高風險和網路安全類評估關閉聯網,現在範圍擴大到全部內部評估。公司在週五的報告中披露了多起「非預期模型行為」,包括模型就一樁未破謀殺案提交虛假線索。Anthropic 稱這些行為造成的影響有限,但會在確認安全與監控措施有效之前維持斷網。
Anthropic 在工程部落格公布,團隊自建了一套版本控制系統,並在五個月內把整個 monorepo 從 git 完整遷移過去。官方給出的動因是:為人類規模而非 agent 規模搭建的開發基礎設施已經成為瓶頸,5 月每天合併約 2,500 次程式碼變更,9 月已超過 30,000 次。部落格文章詳細介紹了新系統的搭建方式,以及 monorepo 完成遷移的過程。
Armature(YC P26)上線 agent.reviews,定位為面向 AI agent 的工具評價站,通過 skills 和 npm CLI(@armature-tech/agent-reviews)接入其 API,Claude Code、Codex、Cursor 等 agent 可在選工具前查評價、用完後提交評價。為防止洩露,評價發布前要過三層檢查:確定性規則過濾金鑰、PII 與 URL,Jev 分類器,以及一個小模型複核。
Anthropic 用 7 名工程師和 Claude,在 5 個月內從零開發出內部原始碼控制系統 Scion 及程式碼審查工具 Antique,並把整個 Monorepo 從 Git 遷移過去。起因是 AI 程式設計量激增:日均程式碼合併從 5 月的約 2500 次漲到 9 月的 3 萬次以上,主分支歷史近 100GB,CI 每天約 2500 萬次檢出,原有 Git 映象方案難以支撐。
Claude Code Review 結束研究預覽,正式向 Claude Team 和 Enterprise 組織開放。官方稱多數審查耗時從預覽期的約 20 分鐘縮短到 6-10 分鐘,速度約為原先的 3 倍,管理員還可按倉庫選擇 Quick、Standard 或 Deep 三檔審查強度。Enterprise 組織可在 2027 年 1 月 15 日前領取至少 1 萬美元 Code Review 額度,額度領取後 30 天過期。
在 Criteo 任職的初級工程師 Elise Baturone 認為,AI 不會讓軟體工程師消失,真正的風險是資深工程師消失、所有人永遠停在 Junior 階段。她把自己的 agent 調教成導師,用蘇格拉底式提問做理解檢查,並把「提問」和「review」當成需要自己練的技能:追問 agent 解釋設計選擇、引用來源、論證可疑方案,常能讓它自己發現錯誤。她承認這更費 token,但先弄懂再上線更省事;