AISpot

搜尋

依意思最接近的 26 筆

機器之心● 精選AI 評分75

阿里資料團隊提出基準健康指數,為 158 個評測基準打分

阿里資料等團隊提出基準健康指數(BHI),從能力區分度、抗飽和度、影響力三個維度給 158 個 LLM 評測基準打分,論文已被 NeurIPS 2026 評測與資料集賽道接收為 Oral。結果顯示 Humanity's Last Exam 以 67.05 分居首,Agents' Last Exam(53.08)和 AutomationBench(52.68)緊隨其後。研究基於 117 個模型的技術報告,用留一基準法估計模型能力,並驗證隨機移除 30% 模型後排序相關係數仍高於 0.97。

Hugging Face blog● 精選AI 評分77

Ai2 發布 FairStress 公平性基準,含 1300 萬測試用例

Ai2 發布 FairStress 基準;除模型最終選擇外,它還測量模型在說服性論點下改變決定的難易程度是否因涉及群體而異。該基準包含 300 個雙候選人場景,覆蓋 29 個領域;組合身份呈現方式與對抗性字首後擴充套件為逾 1300 萬個測試用例,並另發布 5 萬條 FairStress-Core 子集,整合進 Olmo-eval。測試覆蓋 Olmo、Llama、Qwen、Gemma、Claude 與 GPT 系列,結果顯示同一論點會因受益群體不同而對模型決策產生不同影響。

TechCrunch AIAI 評分56

Hugging Face 政策主管:嵌入式 AI 評測員難成現成方案

Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,嵌入式第三方評測員並非解決模型安全問題的簡單答案,評測仍缺乏可復現性與統一標準。她指出評測方法更新很快、彼此之間難以橫向比較,且目前絕大多數評測針對模型本身,對 harness 和完整 agent 的評測既少又昂貴;而更強的 harness 可讓較弱模型跑贏前沿模型。她認為誰有資格評測哪些任務,需要更多標準化。

Hacker News front page● 精選AI 評分76

研究:90% 美國工作時間對應任務缺乏 AI 基準覆蓋

一項覆蓋美國經濟的基準地圖研究顯示,90% 的美國工作時間花在現有 AI 基準幾乎未覆蓋的任務上。研究把美國勞工部 O*NET 的 923 個職業、18797 項任務與篩選出的 29 個基準做對映,只有 208 個職業、924 項任務被至少 5 條基準提示覆蓋,22 個職業大類中有 6 類完全空白。覆蓋分佈並不隨機,偏向高工資、大勞動力市場:同樣被判定易受 AI 影響的律師任務覆蓋充分,法律秘書、法庭書記員的任務卻幾乎沒有對應基準。

TechCrunch AIAI 評分52

Satlyt 獲 800 萬美元種子輪,衛星 AI 軟體將隨 SpaceX 火箭升空

前 Google Cloud、SpaceX 工程師 Rama Afullo 創辦的 Satlyt 完成 800 萬美元種子輪,其衛星端 AI 軟體將於本週隨 SpaceX 火箭發射,與 Google 軌道資料中心原型 Project Suncatcher 同船。Satlyt 不造衛星硬體,只做讓衛星在軌執行 AI 模型的軟體層,定位類似衛星界的 VMware。

Hacker News front pageAI 評分50

開源基準 Parsimony 按語法單元統計 AI 新增程式碼量

Parsimony 是一個開源基準,用來衡量 AI 模型在改程式碼時到底新增了多少程式碼。它複用 DeepSWE、SWE-bench Verified 與 SWE-bench Live 已公開的補丁,統計語句、呼叫、命名、字面量等「編碼單元」而非程式碼行數,並減去被刪除的程式碼,只算淨增量。GPT-6 與 Claude 5.5 尚無公開補丁,作者在自己的訂閱上跑了 3–10 個任務,結果以淺色圓圈顯示、不參與排名。作者也歡迎提交新模型的公開補丁匯出。

Hacker News front pageAI 評分37

Neal Stephenson 談 AI:連他也被這輪熱潮打了個措手不及

《Snow Crash》作者 Neal Stephenson 在 Core Memory 播客與 Ashlee Vance 對談約兩小時,坦言連自己都被這輪 AI 熱潮打了個措手不及。他討論奇點是否已經臨近、當下是否算 AI 的曼哈頓計劃時刻,並指出與中國的 AI 競賽存在熟悉的兩難:沒人願意在對手可能更快時放慢腳步。

機器之心● 精選AI 評分74

中科院軟體所聯合快手推出 OmniBehavior 使用者行為模擬基準

中科院軟體所中文資訊處理實驗室與快手推出 OmniBehavior,這是首個真實世界全鏈路使用者行為模擬基準,已被 NeurIPS 2026 接收。資料集覆蓋 3500 名快手使用者三個月的 212 萬條互動記錄,橫跨影片、直播、電商、廣告與搜尋場景,共設 6000 個預測任務。評測中表現最好的 Claude-Opus-4.5 僅得 44.55 分,多數模型在 32 至 41 分,擴大上下文視窗未帶來穩定提升。

Hacker News front pageAI 評分21

Hacker News 討論:Agentic AI 落地的主要瓶頸是什麼

Hacker News 上有人發帖徵集討論:Agentic AI 進入生產的主要瓶頸在哪裡。發帖者引用兩項資料作對照——agent 產生的流量已超過人類流量,但已建置的 agent 中只有 10% 真正上線生產,他覺得這很諷刺。他由此追問是什麼卡住了這些 agent,以及要讓 agent 流量繼續增長還缺哪些基礎設施。帖子目前 3 分、5 條評論。

Hacker News front pageAI 評分65

市場拋售與利率上升考驗 AI 資料中心交易熱潮

路透社 2026 年 10 月 15 日報導,市場拋售與利率上行正在考驗 AI 資料中心的交易熱潮。報導圍繞以 AI 算力為名的資料中心投資與融資,在資本市場轉冷的背景下能否延續此前的勢頭展開,該文在 Hacker News 上獲得 11 分、5 條評論。原文未給出具體交易金額與涉及企業。

Hacker News front pageAI 評分37

新工具追蹤 AI 領袖影片言論,Amodei 累計 54 條

有人做了一款工具,追蹤 AI 行業領袖在影片中的公開表態,並展示他們觀點隨時間的變化。目前收錄了 Dario Amodei(累計 54 條)、Alex Karp(51 條)、Marc Andreessen(49 條)、Sam Altman(45 條)、Palmer Luckey(40 條)、Satya Nadella(23 條)、Elon Musk(21 條)、Yann LeCun(6 條)等人,頁面同時標註本週新增條數,例如 Alexandr Wang 本週有 5 條。

機器之心● 精選AI 評分74

SLDBench v2 讓 AI 自主挑選實驗,8 個前沿模型全部掉分

SLDBench v2 把「做哪些實驗」也交給 AI,8 個前沿模型需要自主選擇實驗後,成績全部下滑,預測誤差擴大到原來的 1.5 至 4.7 倍。該基準把 30 個任務的真實訓練記錄做成一份標價目錄,AI 按當年實際消耗的算力付費購買結果,再據此預測從未見過的更大規模實驗。表現最好的 Claude Opus 5.5 只花全量成本中位數 4.01%,R² 中位數 0.570,仍超過經典冪律公式用全部資料擬合的 0.455。

The Verge AIAI 評分68

Anthropic 遞交 S-1:承認 AI 資料中心依賴天然氣

Anthropic 在提交給美國 SEC 的 S-1 上市檔案中承認,其 AI 資料中心正越來越依賴天然氣(主要成分是甲烷)供電。檔案稱,爭奪電力供應與電力充足的資料中心選址的競爭十分激烈,公司資料中心的建設因此容易受到燃料成本上漲和現有供應鏈約束的衝擊。這意味著生成式 AI 的算力擴張與化石燃料繫結,供電成本與穩定性風險已被寫進公開的上市披露。

Hacker News front pageAI 評分46

Jev 發布 33 天即退燒,折射 AI 行業炒作與創新匱乏

Jev 發布 33 天后熱度迅速消退,這篇評論借它批評 AI 行業靠營銷話術製造期待。文章指出 Jev 本質是通用分類器,宣稱不會幻覺、更快更便宜,但輸出仍會出錯,且已有開放權重模型在部分任務上價效比更高,並可在本地執行。作者還稱其非自迴歸決策模型思路早於 Jev 一年半出現,並由此質疑行業四年來的創新增量。

Hugging Face blog● 精選AI 評分76

Ai2 發布基準:LLM 判斷研究新穎性並不可靠

Ai2 發布 Old Ideas, Novel Problems 研究與配套基準,結論是用 LLM 當新穎性評審並不可靠:只改 prompt 裡幾處措辭,模型分辨兩個想法哪個更新的準確率就變動超過 50 個百分點。測試涵蓋 GPT-5.1、GPT-5.2、GPT-5.4 與 Claude Sonnet 4.5、Opus 4.5/4.6,檢索與額外推理都不能穩定改善判斷,兩個專門建置的新穎性評估系統還不如直接用 prompt 呼叫的 Claude Opus 4.6 基線。

Hacker News front pageAI 評分45

Criteo 初級工程師:AI 時代真正的風險是永遠停在 Junior

在 Criteo 任職的初級工程師 Elise Baturone 認為,AI 不會讓軟體工程師消失,真正的風險是資深工程師消失、所有人永遠停在 Junior 階段。她把自己的 agent 調教成導師,用蘇格拉底式提問做理解檢查,並把「提問」和「review」當成需要自己練的技能:追問 agent 解釋設計選擇、引用來源、論證可疑方案,常能讓它自己發現錯誤。她承認這更費 token,但先弄懂再上線更省事;

TechCrunch AIAI 評分50

Cal AI 兩年營收超 3000 萬美元,創始人講述網紅投放打法

Cal AI 創始人 Zach Yadegari 在 TechCrunch Disrupt 上透露,這款 AI 熱量追蹤應用靠批次招募網紅髮帖,兩年營收超過 3000 萬美元,並於今年 3 月被 MyFitnessPal 收購。他的做法是與網紅按觸達規模談固定報酬,要求持續發帖直到達標,並優先挑選社群緊密、觸達可量化的帳號;早期一條網紅帖曾在兩天內帶來約 1000 名新使用者。

機器之心AI 評分61

Karpathy 估算全球僅約 5000 人能接觸最前沿 AI 系統

Karpathy 在推文中估算,全球只有約 5000 人(約 0.00006% 人口)能直接使用最前沿的內部 AI 系統;約 2000 萬數學與程式設計專業人士在用前沿級 LLM 做專業工作,另有約 60 億人(約全球 75%)幾乎沒接觸過 LLM。他把這種分化稱為一條越來越陡的能力漏斗,成因是任務規模、能力鋸齒狀分佈(集中在可數字化、可驗證、商業價值高的領域)與存取權限分層。這些內部系統可讓成千上萬 Agent 組成叢集連續執行數週,推進大型軟體專案、發現零日漏洞。

Hacker News front pageAI 評分67

Artificial Analysis 發布 Intelligence Index v5.0,改用 9 項新評測

Artificial Analysis 將模型智慧指數升級到 v5.0,評測集換成 9 項新基準。Knowledge Work、Coding、Science、General 四類各佔 25%,單項權重最高為 15%,分別是 AA-Briefcase v1.1、FrontierCode 2.0、Terminal-Bench-Science 0.1 和 AA-Omniscience v1.1;

Hacker News front pageAI 評分67

Anthropic 稱自複製 AI 蠕蟲或數月內出現

Anthropic 週一發布研究報告,稱可自我複製的 AI 蠕蟲可能數月內就具備在 IoT 裝置上擴散的能力。報告稱 90 億引數模型在 9 類硬體中的 8 類上成功部署推理,Gemma4-26B-A4B 分散跑在 15 臺安卓電視盒上僅 0.39 tokens/秒;GLM-5.2 成功向 8 個安卓 15 模擬器節點傳播 Llama3.1-8B,5 次試驗中 4 次全部成功。

Anthropic News● 精選AI 評分68

Anthropic 將 Agent Skills 標準捐給 AAIF

Anthropic 把 Agent Skills 開放標準捐贈給 Linux 基金會旗下的 Agentic AI Foundation(AAIF),並移交名稱與 logo、GitHub 組織及 agentskills.io 域名。該標準自 2025 年 12 月發布以來,已有 ChatGPT、Cursor、GitHub Copilot、VS Code 等 70 多個平台接入,累計發布 100 萬個 skill、安裝近 2.8 億次。

機器之心● 精選AI 評分70

EinsiaAI 發布 Quant Arena,9 個大模型在 A 股半數虧本

EinsiaAI 旗下 Navers Lab 發布 Quant Arena,讓 9 個大模型在 3042 只 A 股的真實資料上自行編寫策略、回測和迭代;結果 5 個模型虧本、無一跑贏市場基準。研究期使用 2022—2023 年行情,每個模型最多進行 5 次候選評估;策略凍結後僅在 2024 年封存資料上評估一次。收益最高的 GPT-6 Astra 年化收益率 10.7%、最大回撤 -6.8%,仍低於 17.1% 的市場基準;