AISpot

五大 AI 助手引用的統計數字僅 40% 能追溯到原始研究

Hacker News front page新聞報導研究政策與安全

Trakkr Research 向 ChatGPT、Perplexity、Gemini、Claude 與 Google AI Overviews 各提 200 個需要數字的問題,並逐頁回溯 1,285 條被引用的統計,結果只有 40% 最終能落到說法一致的原始研究上。另有 8% 雖找到研究但數字或口徑已變,40% 的引用頁面無法核實(來源被鎖、失效或根本沒提這個數字),11% 完全無出處。ChatGPT 表現最好,57% 可溯源,但每條回答平均只引用 1.3 個數字;

首次用 1,285 條引用逐頁回溯,量化五大助手給出數字的可溯源率與引用密度,並指出引用多為企業部落格而非研究本身,對常靠 AI 查資料的人有直接參考價值。

原標題:Only 40% of AI-cited statistics trace back to a study
閱讀原文

評分79 / 80(平均 79,門檻 76)
狀態精選

相關報導

Hacker News front page● 精選AI 評分79

5 萬條假統計資料仍被 ChatGPT 引用,Google 已將其清退

有人用 GPT-4.1 一天生成了 5 萬條虛構統計資料並建站,7 個月後 ChatGPT 仍在持續引用。Cloudflare 資料顯示,近 30 天該站收到超 60 萬次爬蟲請求,其中約 7.2 萬次來自 ChatGPT-User 的即時抓取;GA4 統計到的 ChatGPT 來源會話已超 1 萬。Google 兩次演算法更新後該站幾乎被清退,索引頁面曝光降到個位數,但它仍獲得 330 多個域名的外鏈,包括 Shopify、DHL 和 Bluehost,編造的數字還進了學術論文和銀行投研報告。整個實驗成本約 50 美元。

量子位● 精選AI 評分81

PaperBenchX 發布:GPT-6 Astra 完整復現率僅 13.98%

UniPat AI 發布 PaperBenchX,稱其為國際上首個多學科端到端論文結果復現基準,從 93 篇論文建置 93 個復現任務,橫跨電磁、光子、化學、材料、生物、機器人等 12 個研究方向和 10 種領域原生科學環境,含 3168 條專家校驗評分項。在這 93 個任務上,表現最強的 GPT-6 Astra 完整復現率只有 13.98%,建模與執行階段平均得分約 62%,驗證階段僅 42.8%。

機器之心● 精選AI 評分91

OpenAI 一次公開 722 篇 AI 數學論文,僅 42% 完成形式化驗證

OpenAI 在 GitHub 公開了 722 篇由內部未發布前沿模型生成的數學手稿,涵蓋數論、代數幾何、分析、組合數學等方向,其中約 300 項核心結果完成 Lean 形式化驗證,佔 42%。公司稱模型共嘗試超過 4000 個問題,一項典型成果平均消耗約 3 小時 ChatGPT Pro thinking 算力,但未公開所用模型與提示詞。

OpenAI News● 精選AI 評分64

OpenAI:Codex 與 ChatGPT Work 佔歐盟企業輸出 token 過半

OpenAI 經濟研究的報告顯示,在歐盟 ChatGPT Enterprise 客戶中,Codex 與 ChatGPT Work 已佔輸出 token 的一半以上,AI 使用正從提問轉向由 agent 執行任務。2026 年 5 月以來,歐盟中小企業中這兩款產品的周活躍使用者增長超過 8 倍,覆蓋每個成員國;但國別差異明顯,其輸出 token 佔比從斯洛維尼亞的 22% 到立陶宛的 85%。