AISpot

普林斯頓 SSoN 基準:人類 83.3%,最強 VLM 僅 39.7%

機器之心官方公告研究開源

普林斯頓大學 AI Lab 發布空間智慧基準 SSoN:在 1000 道四選一題上人類準確率為 83.3%,六個視覺語言模型中 GPT-6 Astra Pro 以 39.7% 居首,其餘五個全部低於 25% 的隨機基線。題目給出四張靜態室內圖,要求找出違背同一場景的那一張並說明理由;17 個視覺編碼器按特徵相似度挑離群圖,準確率只有 16.9%–21.7%。即便選對,仍有 29.5% 的解釋未通過證據核驗,True solve 降至 34.9%。

該研究把跨視角空間一致性單獨做成可驗證基準,題目、資料集、程式碼與微調權重全部公開;人類 83.3% 對最強模型 39.7% 的落差,對做多模態評測與空間推理的人最有參考價值。

原標題:普林斯顿AI Lab出题,「空间智能」大考:人类83.3%,大模型最高39.7%!
閱讀原文

評分80 / 80(平均 80,門檻 65)
狀態精選

相關報導

機器之心● 精選AI 評分78

清華等推出 OSWorld-Science,12 個模型平均得分 34.3%

清華大學牽頭聯合多所高校推出 OSWorld-Science 科研智慧體評測基準,含 146 項專家任務、覆蓋 7 大科學領域與 14 種科研軟體配置,12 個視覺語言模型平均任務得分僅 34.3%。Claude Fable 5.1 以 73.7% 領先,Claude Opus 5、GPT-6 Astra、GPT-5.6 sol 分別為 57.9%、57.4% 和 50.1%,但化學類任務中僅少數模型超過 20%。

機器之心● 精選AI 評分78

CodeActionBench 發布:GPT-6 Astra 機器人操作成功率 73.3%

南洋理工大學研究者與合作者發布 CodeActionBench,用 25 個雙臂模擬任務評測通用多模態 Agent 的機器人操作能力。GPT-6 Astra 在 Codex CLI 下嘗試成功率 73.3% 居首,75 次嘗試完成 55 次、22 個任務至少成功一次;Claude Opus 5 在 Reference harness 與 Claude Code 下分別為 49.3% 和 45.3%,Gemini 3.6 Flash 為 20.0%。

機器之心● 精選AI 評分77

港科大等發布 OpenDS 基準:最強模型真實網路搜尋準確率僅 39%

香港科技大學(廣州)、復旦大學、斯坦福大學等團隊發布面向真實開放網路的深度搜尋基準 OpenDS-World,12 個前沿模型中最高的準確率只有 39%。GPT-6 Astra 以 39.0% 居首,Claude Opus 5.5 和 Gemini 3.8 Flash 分別為 38.0% 與 36.5%,其餘模型落在 12.0%—33.5%。200 道題覆蓋 4 種模態、42 種資源格式與 7 類訪問需求,每題限 1 小時、100 次工具呼叫;

X @OpenAIDevs● 精選AI 評分78

@OpenAIDevs: On Agents’ Last Exam, a benchmark that tests how well agents use complex professional software, GPT…

在 Agents' Last Exam 這項測試 agent 使用複雜專業軟體的基準上,GPT-6.1 Terra 達到 Astra 級表現,任務完成速度超過 3 倍,每 token 成本僅為十分之一。OpenAI 稱這套價效比可用於技術圖紙解讀、影像分析、介面導航與視覺流程自動化等應用。面向專業程式設計、研究與深度推理任務,GPT-6.1 Sol 與 GPT-6 Astra 仍是最強模型。

量子位● 精選AI 評分81

PaperBenchX 發布:GPT-6 Astra 完整復現率僅 13.98%

UniPat AI 發布 PaperBenchX,稱其為國際上首個多學科端到端論文結果復現基準,從 93 篇論文建置 93 個復現任務,橫跨電磁、光子、化學、材料、生物、機器人等 12 個研究方向和 10 種領域原生科學環境,含 3168 條專家校驗評分項。在這 93 個任務上,表現最強的 GPT-6 Astra 完整復現率只有 13.98%,建模與執行階段平均得分約 62%,驗證階段僅 42.8%。