港科大等發布 OpenDS 基準:最強模型真實網路搜尋準確率僅 39%
香港科技大學(廣州)、復旦大學、斯坦福大學等團隊發布面向真實開放網路的深度搜尋基準 OpenDS-World,12 個前沿模型中最高的準確率只有 39%。GPT-6 Astra 以 39.0% 居首,Claude Opus 5.5 和 Gemini 3.8 Flash 分別為 38.0% 與 36.5%,其餘模型落在 12.0%—33.5%。200 道題覆蓋 4 種模態、42 種資源格式與 7 類訪問需求,每題限 1 小時、100 次工具呼叫;
該基準要求模型在影片、播客、互動式頁面和可下載資料檔案之間串聯一條可核驗的證據鏈,實測給出 12 個前沿模型的真實上限,並量化失敗呼叫佔用的時間開銷,對做搜尋 Agent 研發與評測的人有直接參考價值。
原標題:最强模型准确率仅39%!当Deep Search真正进入复杂的真实互联网
閱讀原文
| 評分 | 80 / 75(平均 77,門檻 65) |
|---|---|
| 狀態 | 精選 |
相關報導
清華等推出 OSWorld-Science,12 個模型平均得分 34.3%
清華大學牽頭聯合多所高校推出 OSWorld-Science 科研智慧體評測基準,含 146 項專家任務、覆蓋 7 大科學領域與 14 種科研軟體配置,12 個視覺語言模型平均任務得分僅 34.3%。Claude Fable 5.1 以 73.7% 領先,Claude Opus 5、GPT-6 Astra、GPT-5.6 sol 分別為 57.9%、57.4% 和 50.1%,但化學類任務中僅少數模型超過 20%。
OpenAI 模型連破數學開放問題,深度優先搜尋加驗證器成關鍵
OpenAI 內部模型 5 月給出 1946 年提出的 Erdős 單位距離猜想的反例,6 月證明 Cycle Double Cover,7 月再解十個開放問題,9 月給出 Navier-Stokes 證明;Anthropic 則形式化了費馬大定理並改進黎曼猜想的界。文章分析稱,LLM 以深度優先方式並行推進多條思路,再用只能校驗完整證明的自動驗證器剪枝,單條思路的試錯成本降到幾分鐘,因此普通甚至看似不可能的提示也值得投入大量算力。
DeepSeek V4.1 Flash 開源發布:智慧指數 45、1M 上下文
DeepSeek 發布開源權重模型 V4.1 Flash 1017 (Max),採用 MIT 許可,權重已上傳 Hugging Face,支援文字與影像輸入。在 Artificial Analysis 智慧指數上它得分 45,遠高於同類開源模型中位數 19;總引數 552B、每 token 啟用 16B,上下文視窗 1M token,輸出速度約 230 token/秒。
六款 AI 決策模型吃豆人對戰,基準與排行榜開源
有人讓 jev 1.13、kev、clef、clef flash、GPT-6 Luna 和 Laya 六款低延遲決策模型玩吃豆人對抗機器人鬼魂,每個模型各跑 100 局,並公布了排行榜。測試倉庫已開源,任何人都能接入自己的模型加入排名。這些模型通過其創業公司 opper 執行,一局成本約 2 美分,併為所有人提供免費試用額度。讀者也能自己扮演吃豆人、由模型當鬼魂,作者稱打破 jev 的高分出乎意料地難。
DeepSeek 開放搜尋與抓取 API,每千次呼叫 0.75 美元
DeepSeek 的 Search 與 Fetch API 現已向所有人開放,由自研搜尋引擎驅動,全球日均處理數億次請求,每個端點定價為每 1000 次呼叫 0.75 美元。通過 DeepSeek Harness、Claude Code 和 Codex 中的服務端工具發起的 Search 與 Fetch 呼叫,目前對 DeepSeek API 使用者免費,計費自 2026 年 10 月 31 日 16:00 UTC 開始。