五大 AI 助手引用的統計數字僅 40% 能追溯到原始研究
Trakkr Research 向 ChatGPT、Perplexity、Gemini、Claude 與 Google AI Overviews 各提 200 個需要數字的問題,並逐頁回溯 1,285 條被引用的統計,結果只有 40% 最終能落到說法一致的原始研究上。另有 8% 雖找到研究但數字或口徑已變,40% 的引用頁面無法核實(來源被鎖、失效或根本沒提這個數字),11% 完全無出處。ChatGPT 表現最好,57% 可溯源,但每條回答平均只引用 1.3 個數字;
首次用 1,285 條引用逐頁回溯,量化五大助手給出數字的可溯源率與引用密度,並指出引用多為企業部落格而非研究本身,對常靠 AI 查資料的人有直接參考價值。
原標題:Only 40% of AI-cited statistics trace back to a study
閱讀原文
| 評分 | 79 / 80(平均 79,門檻 76) |
|---|---|
| 狀態 | 精選 |
相關報導
5 萬條假統計資料仍被 ChatGPT 引用,Google 已將其清退
有人用 GPT-4.1 一天生成了 5 萬條虛構統計資料並建站,7 個月後 ChatGPT 仍在持續引用。Cloudflare 資料顯示,近 30 天該站收到超 60 萬次爬蟲請求,其中約 7.2 萬次來自 ChatGPT-User 的即時抓取;GA4 統計到的 ChatGPT 來源會話已超 1 萬。Google 兩次演算法更新後該站幾乎被清退,索引頁面曝光降到個位數,但它仍獲得 330 多個域名的外鏈,包括 Shopify、DHL 和 Bluehost,編造的數字還進了學術論文和銀行投研報告。整個實驗成本約 50 美元。
PaperBenchX 發布:GPT-6 Astra 完整復現率僅 13.98%
UniPat AI 發布 PaperBenchX,稱其為國際上首個多學科端到端論文結果復現基準,從 93 篇論文建置 93 個復現任務,橫跨電磁、光子、化學、材料、生物、機器人等 12 個研究方向和 10 種領域原生科學環境,含 3168 條專家校驗評分項。在這 93 個任務上,表現最強的 GPT-6 Astra 完整復現率只有 13.98%,建模與執行階段平均得分約 62%,驗證階段僅 42.8%。
OpenAI 一次公開 722 篇 AI 數學論文,僅 42% 完成形式化驗證
OpenAI 在 GitHub 公開了 722 篇由內部未發布前沿模型生成的數學手稿,涵蓋數論、代數幾何、分析、組合數學等方向,其中約 300 項核心結果完成 Lean 形式化驗證,佔 42%。公司稱模型共嘗試超過 4000 個問題,一項典型成果平均消耗約 3 小時 ChatGPT Pro thinking 算力,但未公開所用模型與提示詞。
OpenAI:Codex 與 ChatGPT Work 佔歐盟企業輸出 token 過半
OpenAI 經濟研究的報告顯示,在歐盟 ChatGPT Enterprise 客戶中,Codex 與 ChatGPT Work 已佔輸出 token 的一半以上,AI 使用正從提問轉向由 agent 執行任務。2026 年 5 月以來,歐盟中小企業中這兩款產品的周活躍使用者增長超過 8 倍,覆蓋每個成員國;但國別差異明顯,其輸出 token 佔比從斯洛維尼亞的 22% 到立陶宛的 85%。
OpenAI 發布 Signals 資料:近 100 國 165 項工作活動的 ChatGPT 用法
OpenAI 發布 Signals 資料集,覆蓋近 100 個國家、165 項工作活動,用來展示人們如何在工作中使用 ChatGPT。該資料還呈現了這些使用方式隨時間發生的變化,可按國家與活動型別檢視。