AISpot

搜尋

依意思最接近的 30 筆

Hacker News front pageAI 評分67

Artificial Analysis 發布 Intelligence Index v5.0,改用 9 項新評測

Artificial Analysis 將模型智慧指數升級到 v5.0,評測集換成 9 項新基準。Knowledge Work、Coding、Science、General 四類各佔 25%,單項權重最高為 15%,分別是 AA-Briefcase v1.1、FrontierCode 2.0、Terminal-Bench-Science 0.1 和 AA-Omniscience v1.1;

TechCrunch AIAI 評分56

Hugging Face 政策主管:嵌入式 AI 評測員難成現成方案

Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,嵌入式第三方評測員並非解決模型安全問題的簡單答案,評測仍缺乏可復現性與統一標準。她指出評測方法更新很快、彼此之間難以橫向比較,且目前絕大多數評測針對模型本身,對 harness 和完整 agent 的評測既少又昂貴;而更強的 harness 可讓較弱模型跑贏前沿模型。她認為誰有資格評測哪些任務,需要更多標準化。

Hugging Face blog● 精選AI 評分76

Ai2 發布基準:LLM 判斷研究新穎性並不可靠

Ai2 發布 Old Ideas, Novel Problems 研究與配套基準,結論是用 LLM 當新穎性評審並不可靠:只改 prompt 裡幾處措辭,模型分辨兩個想法哪個更新的準確率就變動超過 50 個百分點。測試涵蓋 GPT-5.1、GPT-5.2、GPT-5.4 與 Claude Sonnet 4.5、Opus 4.5/4.6,檢索與額外推理都不能穩定改善判斷,兩個專門建置的新穎性評估系統還不如直接用 prompt 呼叫的 Claude Opus 4.6 基線。

機器之心● 精選AI 評分75

阿里資料團隊提出基準健康指數,為 158 個評測基準打分

阿里資料等團隊提出基準健康指數(BHI),從能力區分度、抗飽和度、影響力三個維度給 158 個 LLM 評測基準打分,論文已被 NeurIPS 2026 評測與資料集賽道接收為 Oral。結果顯示 Humanity's Last Exam 以 67.05 分居首,Agents' Last Exam(53.08)和 AutomationBench(52.68)緊隨其後。研究基於 117 個模型的技術報告,用留一基準法估計模型能力,並驗證隨機移除 30% 模型後排序相關係數仍高於 0.97。

Hacker News front pageAI 評分51

菲爾茲獎得主 Borcherds 因學生普遍用 AI 不再批改作業

加州大學伯克利分校數學教授、菲爾茲獎得主 Richard Borcherds 已不再為作業評分,只要學生提交即記為完成。原因是太多學生使用 AI 穩定拿到滿分,他認為花錢請助教批改正確性已沒有意義,且 AI 使用已無法迴避。他坦言這套做法並不好,但眼下別無選擇;伯克利測試過 Turnitin、Rumi 等 AI 檢測工具,認定不足以全校標準化,課程層面的 AI 政策由教師自行決定。

Google Developers blog● 精選AI 評分66

開源 agent-eval 工具包發布,把 AI agent 評估從憑感覺變成可重複流程

一份面向 AI agent 的評估方法與開源工具 agent-eval 發布,主張用可重複的評估流程替代憑感覺看輸出。方法以關鍵使用者旅程(CUJ)定義成功標準,每個條件都對應一個評估點,先用模擬使用者 LLM 生成正常與邊緣場景,再在單元測試、確定性指標、LLM-as-a-judge 評分與整合測試四層做檢查。

機器之心AI 評分23

機器之心啟動「AI 中國」2026 年度榜單評選,設六類獎項

機器之心正式啟動「AI 中國」2026 年度榜單評選,申報通道現已開放。評選設六類獎項:最強 AI 技術實力機構 TOP 10、人工智慧領軍企業 TOP 20、最佳 AI 模型 TOP 20、最佳大模型產品及應用 TOP 20、具身智慧領軍企業 TOP 10、ScienceAI 領軍機構 TOP 10,覆蓋基礎模型、具身智慧與 AI for Science 等方向,符合條件的企業與創新團隊可報名參與。

Hacker News front page● 精選AI 評分82

InnovationEval:前沿模型花數千美元 GPU 仍未復現人類演算法創新

新評測 InnovationEval 顯示,前沿模型無法獨立復現人類研究者近期做出的機器學習演算法創新:在端到端任務中,它們耗費數千美元 GPU 算力,仍未達到人類論文(on-policy self-distillation,SDPO)的水平。測試要求 AI 自主提出一種新的後訓練方法,在短答題與程式碼任務上後訓練 Qwen3-8B,並超過 GRPO 基線。主要結果來自 Claude Fable 5 與 GPT-5.6 Sol;

Hacker News front pageAI 評分46

Jev 發布 33 天即退燒,折射 AI 行業炒作與創新匱乏

Jev 發布 33 天后熱度迅速消退,這篇評論借它批評 AI 行業靠營銷話術製造期待。文章指出 Jev 本質是通用分類器,宣稱不會幻覺、更快更便宜,但輸出仍會出錯,且已有開放權重模型在部分任務上價效比更高,並可在本地執行。作者還稱其非自迴歸決策模型思路早於 Jev 一年半出現,並由此質疑行業四年來的創新增量。

機器之心● 精選AI 評分78

清華等推出 OSWorld-Science,12 個模型平均得分 34.3%

清華大學牽頭聯合多所高校推出 OSWorld-Science 科研智慧體評測基準,含 146 項專家任務、覆蓋 7 大科學領域與 14 種科研軟體配置,12 個視覺語言模型平均任務得分僅 34.3%。Claude Fable 5.1 以 73.7% 領先,Claude Opus 5、GPT-6 Astra、GPT-5.6 sol 分別為 57.9%、57.4% 和 50.1%,但化學類任務中僅少數模型超過 20%。

Hacker News front pageAI 評分46

論文:AI 正把科學文獻公地圈佔為私有財富

哈佛-史密森天體物理中心研究者 P. K. G. Williams 發表 14 頁 arXiv 論文,論證 AI 提供了將科學文獻這一資訊公地圈佔為私有財富的工具。論文以英國 1600–1800 年圈地運動為類比框架,指出 AI 圈佔的關鍵特徵是借“slop spam”低質生成內容淹沒文獻、破壞支撐公地的社會系統,而非經典的“公地悲劇”。文章橫跨天體物理儀器方法與計算與社會兩個分類,附 32 條參考文獻,主張這套概念可為審視 AI 對科研生態的衝擊提供學術基礎。

Hacker News front pageAI 評分52

論文:如何讓 System 1 大模型展現 System 2 能力

AAAI 期刊論文《How to make System 1 LLMs show System 2 competencies?》在 Wiley Online Library 上線,研究如何讓直覺式(System 1)大模型表現出慢思考(System 2)的能力。全文需經 Wiley 連結檢視,Hacker News 同期討論帖僅 7 分、1 條評論。原文未披露所用方法、模型與實驗資料。

量子位● 精選AI 評分75

陶哲軒轉向 AI 減速派,呼籲模型公司放慢數學研究

數學家陶哲軒在 SAIR 演講中公開呼籲模型公司放慢數學研究節奏,稱 AI 無休止加速卻對後果一無所知,並稱之為 Proof Indigestion(證明消化不良):AI 只在生成解答與 Lean 驗證上狂飆,理解、評審、寫入教科書幾乎停滯。此前他與 25 位菲爾茲獎得主聯名發表公開信,批評把數學當 benchmark 刷分。OpenAI 隨後回應,宣布在普林斯頓高等研究院設立數學與人工智慧顧問小組,但宣告寫明該小組不就數學上的內部進展提供建議。

TechCrunch AIAI 評分58

調查:超半數高管稱用 AI 後更難評估員工績效

Monday.com 委託 Nielsen 對七國 1700 名董事與高管調查顯示,超半數認為員工產出經 AI 打磨後難辨人機貢獻,近半數因此花更多時間審閱團隊產出。94% 仍對 AI 感到興奮,但 78% 已改變考核方式,更看重提示詞撰寫與任務分配能力;39% 用 AI 起草績效評估,46% 用 AI 輔助決策。57% 的組織在用的工具反而變多,僅 29% 稱 AI 基礎設施已集中最佳化;58% 預計一年內要監督的 AI agent 數量將超過人類員工。

Hacker News front pageAI 評分37

OpenAI 發文介紹與學術社群共建科學理解

OpenAI 發布題為 Working with academic communities to build scientific understanding 的文章,主題是與學術社群合作推進科學理解。目前公開可見的只有標題與文章連結,具體合作機構、專案形式、資助規模與時間表均未在已知資訊中披露。該帖在 Hacker News 上獲得 44 分、9 條評論。

Hacker News front pageAI 評分49

隨筆:AI 瓦解知識社群,私人知識活動難以為繼

一篇隨筆主張,AI 正在瓦解支撐個人智力活動的知識社群,使長期、複雜的私人思考越來越難維持。作者以軟體工程為例:Claude Code 發布一年多,行業討論從編譯器、型別系統轉向 prompt、harness、loop,變得狹窄膚淺;寫部落格、開源庫或設計新程式語言也不再有人類讀者,內容只會被下一代模型消化。文章稱數學領域正經歷類似過程,並認為持續的知識活動需要共享成果與他人認可這兩種無法獨自獲得的輸入。

Hacker News front pageAI 評分52

Armature 上線 agent.reviews,讓 AI agent 互評工具

Armature(YC P26)上線 agent.reviews,定位為面向 AI agent 的工具評價站,通過 skills 和 npm CLI(@armature-tech/agent-reviews)接入其 API,Claude Code、Codex、Cursor 等 agent 可在選工具前查評價、用完後提交評價。為防止洩露,評價發布前要過三層檢查:確定性規則過濾金鑰、PII 與 URL,Jev 分類器,以及一個小模型複核。

Hacker News front pageAI 評分46

AI 數學發現快過學界消化,評論借《路邊野餐》作類比

一篇評論用斯特魯加茨基兄弟的科幻小說《路邊野餐》類比 AI 對科學的衝擊:AI 實驗室正成批產出數學發現,多到要另附導讀,速度遠超學界消化能力。作者稱這類「發現傾倒」會出現在所有能閉環快速驗證的領域;NYU 數學教授 Tristan Buckmaster 提到最近一批 AI 科學論文讓整個研究專案一夜之間被抹掉。文章的核心判斷是答案將越來越先於理解到來,理解成為瓶頸,這或許也是反加速主義少有的有效論據。

機器之心● 精選AI 評分77

小紅書與復旦 DR-Rubric 被 NeurIPS 2026 接收

小紅書與復旦大學等機構提出的 DR-Rubric 已被 NeurIPS 2026 接收,論文與程式碼公開。該方法先讓模型圍繞任務做多輪檢索收集證據,再把證據轉成原子化、可逐條檢查的評分細則,作為 GRPO 的獎勵訊號,已在小紅書業務中實際使用。六個基準上每輪僅用 1000 條 RL 資料即取得有競爭力的表現,其中 GPT-5 生成的細則在 ResearchQA 達 73.7、DeepResearchBench 達 43.0;

Hacker News front pageAI 評分47

評論:AI 借 Lean 寫數學證明,不讀 AI 程式碼漸成常態

一位電腦科學家在這篇評論中指出,AI agent 結合 Lean 等互動式證明助手,正在把希爾伯特百年前設想的「證明機器」變為現實,其對數學界的衝擊甚至超過希爾伯特綱領的失敗。他同時警告,程式設計領域已把不讀 AI 生成程式碼當成常態;而在 Curry-Howard 對應下程式與證明本質相同,放棄閱讀就等於放棄理解。他主張像數學家反覆簡化 AI 證明那樣,用抽象、重構與更高層語言把程式碼簡化到能裝進腦中。

機器之心● 精選AI 評分75

清華聯合輝達等發布 StreamEval,首個流式互動影片榜單覆蓋 38 個模型

清華大學、NVIDIA、CMU、UC Berkeley 等機構聯合發布 StreamEval,稱其為全球首個流式互動影片生成評測基準,覆蓋數字人對話、虛擬人表演、世界生成、指令編輯與參考編輯五類任務、300 個測試用例、38 個模型。結果暴露出共同短板:模型能否穩定生成畫面,與能否可靠執行連續指令是兩回事;最好的數字人模型 Vidu S2-Avatar 綜合分 93.98,但指令跟隨僅 36.90;世界生成最高分 MemFlow 僅 33.36。

Hacker News front pageAI 評分63

數學家批評 OpenAI 分拆原理預印本品質不合格

一位專攻選擇公理的數學家公開批評 OpenAI 的預印本,該文聲稱證明了分拆原理不蘊含選擇公理這一懸置逾百年的問題。他指論文結構混亂、術語不當,引用至少三份未發表、未經評審、也未上傳 arXiv 的講義,還包含他認為不該被證明的引理 7.4 與 8.1,若投稿期刊應被直接拒稿。他並批評 OpenAI 一次放出數百個表述難懂的「解答」,讓研究者疲於應付,也擔心資助方與政策制定者據此以為數學家可被機器人取代。

Hacker News front pageAI 評分61

數學界組織批評 OpenAI 一次性發布 700 餘份數學手稿

OpenAI 於 10 月 6 日發布了一個包含 700 多份數學手稿的倉庫,聲稱其中含有多項高知名度數學問題的解答。人類數學協會(Association for Human Mathematics)指出,OpenAI 自稱從中獲得正當性的數學與人工智慧諮詢組織,其最初宣告就明確前沿 AI 公司不應在內部模型上測試高等數學問題,OpenAI 的做法無視了這一核心前提。該協會還提到 OpenAI 正面臨抄襲、版權侵權與商標淡化的訴訟,並呼籲數學家停止與 OpenAI 合作。

Hugging Face blog● 精選AI 評分77

Ai2 發布 FairStress 公平性基準,含 1300 萬測試用例

Ai2 發布 FairStress 基準;除模型最終選擇外,它還測量模型在說服性論點下改變決定的難易程度是否因涉及群體而異。該基準包含 300 個雙候選人場景,覆蓋 29 個領域;組合身份呈現方式與對抗性字首後擴充套件為逾 1300 萬個測試用例,並另發布 5 萬條 FairStress-Core 子集,整合進 Olmo-eval。測試覆蓋 Olmo、Llama、Qwen、Gemma、Claude 與 GPT 系列,結果顯示同一論點會因受益群體不同而對模型決策產生不同影響。

Hacker News front pageAI 評分67

七位數學家撰文反對倉促用 AI 形式化全部數學

Jeremy Avigad、Kevin Buzzard 等七位數學家聯合發文,反對在 OpenAI 上週發布後興起的「儘快形式化全部數學」呼籲,認為做得不好會造成持久損害、浪費鉅額資源。文中舉例:Anthropic 稱 Claude 用 1300 萬行程式碼、11 天完成費馬大定理的形式化驗證,Buzzard 稱讚成果卻表示不會停下自己手頭的形式化工作;Math, Inc. 試圖劫持 Viazovska 球堆積形式化專案,原團隊最終棄用 AI 程式碼重做。

量子位● 精選AI 評分79

清華姚期智團隊提出代數世界模型 AWM,ARC-AGI-3 全部通關

清華大學姚期智、袁洋團隊提出「代數世界模型」(AWM),讓 AI 把觀察到的現象寫成可執行假設、凝鍊為通用規則,最後用 Lean 4 形式化成機器可檢驗的數學證明。在 ARC-AGI-3 上,基於 Opus 5 的 AWM 通關全部 183 個關卡,得分 99.9%,平均通關步數只有人類基準的 43%;面對被人為改成無解的關卡,它嘗試兩次即證明「不可能」,並指出再增加一步就能獲勝。團隊同時說明,這些證明只在已觀測到的世界內成立,探索不全時得到的只是區域性真理。

TechCrunch AIAI 評分74

OpenAI 發布 719 份數學解答,被指未達學界標準

OpenAI 本週發布 719 份針對高難度數學問題的解答,但未完全滿足普林斯頓高等研究院 AGMAI 上月發布的指南。AGMAI 的首要建議是停止在專有模型上測試高深數學問題,而 OpenAI 明確稱正用開放研究問題評估其專有模型;719 篇手稿中僅 10 篇公開了模型的思維鏈,42% 的證明未做形式化。

Hacker News front pageAI 評分41

微軟與 CMU 推出 PRAISE 專案,培訓初級工程師用 AI 開發

卡內基梅隆大學與微軟聯合推出 PRAISE 證書專案,讓微軟初級軟體工程師線上修讀 CMU 計算機學院的課程,同時由公司資深工程師帶教,學習把 AI 工具用於日常開發。本學期開設 Machine Learning in Production 與 AI 增強軟體工程預修課 I,春季增加 DevOps 安全開發與部署及該課程第二學期,學分可計入軟體工程碩士。