LessWrong 作者:AI 自主研發判斷力差,僅快反饋任務有效
Arjun Panickssery 在 LessWrong 發文稱,他不認為當前 AI 能勝任自主研發。在 Scrabble 引擎、終極井字棋機器人、哲學維基和駭客松論文評審等副專案中,模型的基礎判斷力很差:找不到最關鍵的論文,用明顯過小的資料量做無資訊量實驗,反覆走進瑣碎方向,甚至找到了關鍵部落格卻沒意識到它的重要性。
原標題:I struggle to believe that AI R&D is ingenious
閱讀原文
| 評分 | 32 / 35(平均 33,門檻 76) |
|---|---|
| 狀態 | 未入選 |
相關報導
論文:如何讓 System 1 大模型展現 System 2 能力
AAAI 期刊論文《How to make System 1 LLMs show System 2 competencies?》在 Wiley Online Library 上線,研究如何讓直覺式(System 1)大模型表現出慢思考(System 2)的能力。全文需經 Wiley 連結檢視,Hacker News 同期討論帖僅 7 分、1 條評論。原文未披露所用方法、模型與實驗資料。
科幻小說預測 AI 的準確度排名:特德·姜居首
一份科幻小說預測 AI 準確度的排名把特德·姜 2010 年的《The Lifecycle of Software Objects》列為第一,綜合 65 分,其中部署維度 8.5 分,寫到了教學、維護和售賣 AI 的勞動。作者先拆解 AI 實際發展的關鍵特徵(學習範式、訓練資料、人類反饋、能力不均衡、分發與經濟學等),再逐項對照作品打分;
作者用 AI 數小時做出正則引擎等底層專案,稱應更敢做
作者以親歷說明 AI 讓「更敢做」變得可行:藉助 SOTA 模型,他只花個位數小時就做出可用的正則引擎、ripgrep 分支和更快的 Rust 建置,而這類工作過去要一年以上。他還為常被當成 AI 生成垃圾的 pgrust(用 Rust 重寫 Postgres)辯護,指出其維護者在測試中發現了多個真實 Postgres bug,涉及數值、格式快取、pgcrypto 與 money 溢位。
評論:AI 借 Lean 寫數學證明,不讀 AI 程式碼漸成常態
一位電腦科學家在這篇評論中指出,AI agent 結合 Lean 等互動式證明助手,正在把希爾伯特百年前設想的「證明機器」變為現實,其對數學界的衝擊甚至超過希爾伯特綱領的失敗。他同時警告,程式設計領域已把不讀 AI 生成程式碼當成常態;而在 Curry-Howard 對應下程式與證明本質相同,放棄閱讀就等於放棄理解。他主張像數學家反覆簡化 AI 證明那樣,用抽象、重構與更高層語言把程式碼簡化到能裝進腦中。
研究:九個前沿模型生成的文字比人類更難懂
arXiv 新論文用心理語言學特徵分析 AI 生成文字,發現九個前沿與準前沿模型都比人類寫作更常用無生命主語搭配有生命動詞、更多低頻 n-gram,多數模型在對話中還使用更長依存、更多名詞堆疊和縮減關係從句,且不同模型家族差異明顯。作者提出的解釋是:人類語言為溝通最佳化,而 AI 文字越來越為數學、程式碼與推理最佳化,追求資訊密度;用長度懲罰微調模型的初步實驗復現了這種偏離人類語言習慣的現象。