AISpot

搜尋

依意思最接近的 30 筆

Google Developers blog● 精選AI 評分66

開源 agent-eval 工具包發布,把 AI agent 評估從憑感覺變成可重複流程

一份面向 AI agent 的評估方法與開源工具 agent-eval 發布,主張用可重複的評估流程替代憑感覺看輸出。方法以關鍵使用者旅程(CUJ)定義成功標準,每個條件都對應一個評估點,先用模擬使用者 LLM 生成正常與邊緣場景,再在單元測試、確定性指標、LLM-as-a-judge 評分與整合測試四層做檢查。

Hacker News front pageAI 評分52

Armature 上線 agent.reviews,讓 AI agent 互評工具

Armature(YC P26)上線 agent.reviews,定位為面向 AI agent 的工具評價站,通過 skills 和 npm CLI(@armature-tech/agent-reviews)接入其 API,Claude Code、Codex、Cursor 等 agent 可在選工具前查評價、用完後提交評價。為防止洩露,評價發布前要過三層檢查:確定性規則過濾金鑰、PII 與 URL,Jev 分類器,以及一個小模型複核。

機器之心● 精選AI 評分80

AA-Robotics 首份榜單發布:GPT-6 Astra 操控機械臂得分居首

Artificial Analysis 於 10 月 14 日發布 AA-Robotics v0.1,首次讓 GPT、Claude、Gemini 等前沿模型藉助程式設計 Agent 操控真實機械臂,零樣本完成倒水、寫字、搭積木等八項任務。GPT-6 Astra 以 69.4 分居首,GPT-6.1 Sol 64.6 分,Gemini 4 Argon 55.3 分,Claude Opus 5.5 與 Fable 5.1 分別為 48.8 和 46.3 分。

X @OpenAIDevsAI 評分37

@OpenAIDevs: Developers have been using the Decisions API to:

OpenAI 開發者帳號公布 Decisions API 的六類典型用法:把請求路由到合適的模型、工具或智慧體;把規模化輸入轉成標籤、排名和評分;分析影像、比較視覺內容或定位影片關鍵幀;依據截圖選擇按鈕、填寫表單或判斷操作;標記有風險的工具呼叫或需深入審查的問題;以及對大規模資料集分類以發現趨勢和模式。推文未給出定價、可用範圍或上線時間等資訊。

Hacker News front pageAI 評分46

The Consensus 上線 AI 寫作痕跡檢測器,命中文章不獲推薦

軟體基礎設施部落格 The Consensus 上線自研「AI tells」檢測器,用靜態規則比對 2023 年前後的寫作差異,處於第 99 百分位的文章將失去首頁 At a Glance 板塊、社交媒體和每週 newsletter 的推薦資格。該檢測器不判斷文章是否由 AI 撰寫,只提示讀起來像 AI 寫作,作者稱它偶爾也會誤判自己的文章。讀者仍可在 feed 搜尋中用 aitells<90 過濾,作者也承認規則可被繞過,但認為這反而會促使各家寫出自己的風格。

機器之心● 精選AI 評分78

清華等推出 OSWorld-Science,12 個模型平均得分 34.3%

清華大學牽頭聯合多所高校推出 OSWorld-Science 科研智慧體評測基準,含 146 項專家任務、覆蓋 7 大科學領域與 14 種科研軟體配置,12 個視覺語言模型平均任務得分僅 34.3%。Claude Fable 5.1 以 73.7% 領先,Claude Opus 5、GPT-6 Astra、GPT-5.6 sol 分別為 57.9%、57.4% 和 50.1%,但化學類任務中僅少數模型超過 20%。

機器之心● 精選AI 評分77

小紅書與復旦 DR-Rubric 被 NeurIPS 2026 接收

小紅書與復旦大學等機構提出的 DR-Rubric 已被 NeurIPS 2026 接收,論文與程式碼公開。該方法先讓模型圍繞任務做多輪檢索收集證據,再把證據轉成原子化、可逐條檢查的評分細則,作為 GRPO 的獎勵訊號,已在小紅書業務中實際使用。六個基準上每輪僅用 1000 條 RL 資料即取得有競爭力的表現,其中 GPT-5 生成的細則在 ResearchQA 達 73.7、DeepResearchBench 達 43.0;

機器之心● 精選AI 評分75

Einsia 發布物理世界模型評測:Seedance 2.5 最高 57.76 分

Einsia AI 旗下 Navers Lab 發布 World Models' Last Exam in Physics,用 40 個任務、9 類物理現象測試 8 個影片生成模型,Seedance 2.5 以 57.76 分居首,MiniMax H3 以 54.89 分次之。評分由一致性分 C 與物理分 P 組成,物理分靠程式從影片中測量軌跡、週期、角度等量再按物理關係計算,且只有 C≥80 才計入總分。

Hacker News front page● 精選AI 評分82

InnovationEval:前沿模型花數千美元 GPU 仍未復現人類演算法創新

新評測 InnovationEval 顯示,前沿模型無法獨立復現人類研究者近期做出的機器學習演算法創新:在端到端任務中,它們耗費數千美元 GPU 算力,仍未達到人類論文(on-policy self-distillation,SDPO)的水平。測試要求 AI 自主提出一種新的後訓練方法,在短答題與程式碼任務上後訓練 Qwen3-8B,並超過 GRPO 基線。主要結果來自 Claude Fable 5 與 GPT-5.6 Sol;

TechCrunch AIAI 評分65

a16z 發布消費者 AI 百強榜:ChatGPT 居首,社交電商等類別空白

a16z 合夥人 Olivia Moore 發布消費者 AI 百強應用報告:ChatGPT 仍遙遙領先,Suno、ElevenLabs 等中小產品展現出持久力。報告發現社交、約會、電商、旅遊、金融、健康等類別在百強榜上完全沒有產品入選,美國也僅 2.2% 的家庭為 AI 付費。

Ars Technica AI● 精選AI 評分84

Meta 新商業條款 10 月 30 日生效,強制以商家網站內容訓練 AI

Meta 將於 10 月 30 日更新商業服務條款,要求所有商業帳號允許 Meta 用其關聯網站內容訓練 AI,且不提供退出選項,只建議不同意的商家停用 Meta 服務。新條款覆蓋範圍不止社交媒體帖子,還包括商家關聯網站上的內容,對新聞出版商衝擊最大——它們本可就 Meta 持續抓取文章用於 AI 訓練收取數百萬美元授權費。目前新聞機構正與 OpenAI 就未授權訓練是否屬於合理使用對簿公堂,而 Meta 的條款無論判決如何都先取得了寬泛許可。

Hacker News front pageAI 評分41

微軟與 CMU 推出 PRAISE 專案,培訓初級工程師用 AI 開發

卡內基梅隆大學與微軟聯合推出 PRAISE 證書專案,讓微軟初級軟體工程師線上修讀 CMU 計算機學院的課程,同時由公司資深工程師帶教,學習把 AI 工具用於日常開發。本學期開設 Machine Learning in Production 與 AI 增強軟體工程預修課 I,春季增加 DevOps 安全開發與部署及該課程第二學期,學分可計入軟體工程碩士。

X @GoogleDeepMind● 精選AI 評分85

SynthID Detector 向所有人開放,可檢測多家 AI 生成內容

Google DeepMind 宣布 SynthID Detector 現已向所有人開放,可用來判斷網上內容是否由 AI 生成。該工具除 Google AI 外,還支援檢測 OpenAI、NVIDIA、Kakao 等行業夥伴工具生成的內容,Apple 即將加入。使用者可通過 synthid.com 試用。

量子位AI 評分63

AI 影視公司 Utopai 影片模型盲測排名第二

Artificial Analysis 最新文生影片榜單中,影視公司 Utopai Studios 的模型 Utopai X 以 1150 分位列第二,與第一名阿里 Wan 3.0 僅差 7 分,據福布斯估算其估值約 10 億美元。該榜單由評審在不知道模型名字的情況下盲投產生;Utopai X 以 MiniMax 開源的影片模型 H3 為底子做後訓練,10 項能力中有 7 項比基座更接近頂尖水平,音訊同步、運鏡控制與物理提升最明顯。

Hacker News front pageAI 評分50

開源基準 Parsimony 按語法單元統計 AI 新增程式碼量

Parsimony 是一個開源基準,用來衡量 AI 模型在改程式碼時到底新增了多少程式碼。它複用 DeepSWE、SWE-bench Verified 與 SWE-bench Live 已公開的補丁,統計語句、呼叫、命名、字面量等「編碼單元」而非程式碼行數,並減去被刪除的程式碼,只算淨增量。GPT-6 與 Claude 5.5 尚無公開補丁,作者在自己的訂閱上跑了 3–10 個任務,結果以淺色圓圈顯示、不參與排名。作者也歡迎提交新模型的公開補丁匯出。

Hacker News front pageAI 評分58

HackerRank 為 LeetCode 刷題道歉,推出 AI 面試官 Chakra

HackerRank 聯合創始人兼 CEO Vivek 公開為「讓人刷 LeetCode」道歉,並宣布推出 AI 面試官 Chakra。HackerRank 將把面試題從演算法題換成真實程式碼倉庫中的任務,評估標準從程式碼是否正確轉向 AI 使用能力與判斷力,候選人環境也從 IDE 改為 agentic 開發環境。候選人可像在真實工作中那樣使用 AI 工具解題,Chakra 隨後追問為何選擇該方案、會改什麼、如何驗證 AI 生成的程式碼。

Hacker News front page● 精選AI 評分80

微軟發布 Decision-1 決策模型,比 GPT-6 Sol 快 35 倍

微軟推出決策評分模型 Microsoft-Decision-1,已在 Microsoft Foundry 上線,並將登陸 OpenRouter。該模型基於 Qwen3.5-9B 後訓練,用於路由、分類、優先順序排序、驗證與工作流控制,支援是/否、多選、評分及對 AI 回答和 agent 動作的 rubric 打分。官方稱其在 36 項基準、近 15 萬道題中準確率最高,P50 延遲比 GPT-6 Sol 快約 35 倍、比第二名 Quyet-1.0-Large 快 4.5 倍;

Hugging Face blog● 精選AI 評分75

微軟與 Hugging Face 發布 ThinkingBox,按資料庫狀態給 AI agent 打分

微軟聯合 Hugging Face 推出 ThinkingBox 基準,通過 Hugging Face 提供,不看 agent 的回覆文字和工具呼叫,只檢查它留在後端資料庫裡的最終狀態與副作用,每個任務重複跑 20 次。在 507 個有狀態業務流程、12 個模型、121,680 次有效試驗中,79,853 次未通過可執行檢查,其中 67.24% 仍乾淨收尾且無工具報錯。

X @MistralAIAI 評分40

Mistral Large 4 在 Harvey 法律智慧體基準居開源第一

Mistral AI 官方帳號宣布,Mistral Large 4 在 Harvey 的 Legal Agent Benchmark(LAB)中位列開源模型第一。該推文以「金球獎·法律組」的說法公布這一排名,LAB 是面向法律場景智慧體能力的評測基準。原文未給出具體分數、參評模型數量與評測細節。

Hacker News front pageAI 評分45

Deezer 稱 44% 上傳曲目由 AI 生成,人類創作出現溢價

BBC 報導稱,AI 生成內容激增正催生所謂「人類溢價」,即人們更看重由人創作的藝術。音樂平台 Deezer 表示,其上傳曲目中 44% 由 AI 生成,調查顯示 97% 的聽眾無法分辨 AI 與人類作品,但超過半數受訪者仍在意創作者是不是人。學界正推動設立類似「公平貿易」的「人類製造」統一標識,已有書籍、電影和專輯封面標註「AI-free」。

機器之心AI 評分48

影視公司 Utopai 的定製模型 Utopai X 登 Video Arena 全球第二

Artificial Analysis 的 Video Arena 文生影片排行榜上,影視公司 Utopai 的定製模型 Utopai X 以 1150 的 Elo 評分位列全球第二、全美第一,這是該榜採用雙盲投票以來首次有影視公司定製模型進入前列。Utopai X 基於 MiniMax H3 架構做深度定製後訓練,在評測的 10 項細分能力中 7 項超越基座模型,音訊同步與物理規律排名第一,光照與材質、鏡頭控制排名第二。

TechCrunch AIAI 評分67

HackerRank 向客戶開放 AI 面試官 Chakra,已面試超 50 萬場

HackerRank 的 AI 面試 agent Chakra 結束約六個月 beta,週一起正式向企業客戶開放,測試期間已完成逾 50 萬場面試,Snowflake、Snorkel、Capgemini 等公司參與試用。候選人要在帶 AI 助手的畫布上處理真實程式碼倉庫任務,Chakra 會依據其操作追問思路,評估批判性思維、判斷力與「AI fluency」,即如何向 AI 描述問題、判斷其輸出並引匯出解法。

機器之心● 精選AI 評分68

OpenRSI Index 上線:讓智慧體改進 Qwen、Marin 等開源訓練方案

OpenRSI Index 正式發布,這是一個用真實開源研究專案出題、檢驗科研智慧體能否改進人類訓練方案的評測基準。任務取自 Marin、Qwen、GPIC 等專案,覆蓋預訓練、後訓練與影像生成,單次執行算力從 5,815 到 20,864 H100·小時。智慧體在工作區反覆實驗,提交後凍結快照交由獨立評測環境驗收,原作者方案在同一環境重跑作為對照,篡改獎勵、洩露評測資訊或超預算計零分。

Hacker News front pageAI 評分69

Faros 研究:高 AI 採用團隊 bug 增 54%、PR 評審耗時漲約 5 倍

Faros 2026 年研究分析 22,000 名開發者、4,000 個團隊兩年遙測資料後發現,AI 採用度高的組織每位開發者 bug 增加 54%,PR 評審中位耗時約漲 5 倍,每 PR 事故數超 3 倍;其 Q3 報告稱部分效應有所緩解,但驗證與運維成本仍在累積。

TechCrunch AIAI 評分62

微軟總裁 Brad Smith 呼籲 AI 監管,稱英國最適合主導全球規則

微軟總裁 Brad Smith 在 BBC 播客上呼籲儘快制定全球 AI 安全規則,並稱英國比美國和歐盟更適合主導這件事。他希望落地的規則包括:系統被失控 AI agent 攻破須依法通報、AI 產品發布前需經外部評估者批准,以及可暫停或減速的 kill switch。他批評上月白宮與 OpenAI、Anthropic、Nvidia 等簽署的自願性檔案只能約束負責任的公司。

The Verge AIAI 評分59

Schiff 談 AI 監管:白宮自願承諾不足,主張設新監管機構

加州民主黨參議員 Adam Schiff 在 Decoder 播客中稱,白宮讓多家 AI 公司簽署的自願安全承諾遠遠不夠,他支援設立新的專門機構來監管 AI。他提到,這些公司私下都公開呼籲監管,只是在總統面前不願得罪人;最高法院推翻 Chevron 先例後,法院取代機構專家解釋模糊法律,新規很容易立刻陷入訴訟。

TechCrunch AIAI 評分74

OpenAI 發布 719 份數學解答,被指未達學界標準

OpenAI 本週發布 719 份針對高難度數學問題的解答,但未完全滿足普林斯頓高等研究院 AGMAI 上月發布的指南。AGMAI 的首要建議是停止在專有模型上測試高深數學問題,而 OpenAI 明確稱正用開放研究問題評估其專有模型;719 篇手稿中僅 10 篇公開了模型的思維鏈,42% 的證明未做形式化。

TechCrunch AIAI 評分53

簡訊 AI 助手盤點:Instinct 估值 100 億美元

越來越多 AI 助手不再需要單獨下載 App,直接用 iMessage、RCS 或簡訊就能對話並代辦任務。其中 Instinct 於 2026 年 9 月完成 10 億美元融資、估值達 100 億美元,並開始給使用者分配助手專屬信箱地址、上線代打電話功能,目前仍處私測。其餘選項裡,Folk 免費、Pro 訂閱 8.33 美元/月,Comma 開源且免費起步,Fambot 主打家庭日程並每晚推送次日摘要,Martin 訂閱 21 美元/月起。

機器之心● 精選AI 評分82

OpenAI 四連更:Auto-review 免費,API 最高檔門檻減半

OpenAI 在 Codex/Work 連續 28 天更新計劃的第二天一次性放出四項更新:Auto-review(即 Approve for me)對所有用 ChatGPT 帳號登入的使用者免費,不再消耗套餐額度;API 付費等級從五檔簡化為 Build、Launch、Grow 三檔,累計付費門檻分別為 5、100、500 美元,最高檔由 1000 美元減半至 500 美元並自動升級;