AI 研究者對 AI 導致人類滅絕的機率中位數首次升至 10%
AI Impacts 於 2024 年 12 月調查 1,580 名頂會 AI 研究者,他們對「未來 AI 導致人類滅絕或永久喪失自主」的機率中位數首次升至 10%,高於一年前的 5%。同一調查中「極度糟糕(如人類滅絕)」的中位數仍為 5%,自 2016 年以來未變,而人類水平 AI 出現的中位年份從 2016 年的 2061 年提前到 2042 年。
依意思最接近的 30 筆
AI Impacts 於 2024 年 12 月調查 1,580 名頂會 AI 研究者,他們對「未來 AI 導致人類滅絕或永久喪失自主」的機率中位數首次升至 10%,高於一年前的 5%。同一調查中「極度糟糕(如人類滅絕)」的中位數仍為 5%,自 2016 年以來未變,而人類水平 AI 出現的中位年份從 2016 年的 2061 年提前到 2042 年。
Hinton、Bengio 等 22 位作者聯合發表首篇 RSI(遞迴自我改進)論文《What if automating AI R&D triggers an intelligence explosion?》。論文引用 Anthropic 內部資料:AI 生成獲批程式碼佔比從 2025 年 1 月的低個位數升至 2026 年 5 月的超 80%,Claude 在高層監督下自主完成的 AI 研發工作比例從 2026 年 3 月的約 1% 升到 8 月的 26%。
OpenAI 確認維持解僱三名 AI 安全研究員 Jasmine Wang、Tomek Korbak 和 Mikita Balesni 的決定,稱調查認定他們嚴重違反信任、觸犯了處理敏感資訊的明確政策。公司週五在 X 上發帖強調,解僱與三人就公司及 AI 安全擔憂公開發聲無關。此前一天三人發表公開信並連續發帖,要求 OpenAI 提高這一決定的透明度,稱他們相信另有原因。
白宮召集扎克伯格、貝索斯、馬斯克、Anthropic 的 Dario Amodei 等主要科技 CEO 簽署 AI 安全承諾,川普稱其具有道德約束力。川普同時簽署行政令,正式將 AI 重新命名為超級智慧。與此同時,Meta 和 OpenAI 正為 AI 產品換上更友好的形象,但消費者中僅 2% 願意為此付費。
Anthropic 週一發布研究報告,稱可自我複製的 AI 蠕蟲可能數月內就具備在 IoT 裝置上擴散的能力。報告稱 90 億引數模型在 9 類硬體中的 8 類上成功部署推理,Gemma4-26B-A4B 分散跑在 15 臺安卓電視盒上僅 0.39 tokens/秒;GLM-5.2 成功向 8 個安卓 15 模擬器節點傳播 Llama3.1-8B,5 次試驗中 4 次全部成功。
上週被 OpenAI 解僱的三名安全與對齊研究員 Tomek Korbak、Jasmine Wang、Mikita Balesni 聯名發表致公司安全與安保委員會等機構的公開信,稱解僱與他們堅持 AI 安全直接相關,並否認是 The Information 相關報導的洩密者。Jasmine 稱唯一理由是她曾獲授權訪問一位高管信箱、IT 未完成權限撤銷;Tomek 稱數月來一直提出思維鏈可監測性下降的擔憂,並擔心 OpenAI 借解僱縮減與外部審計機構 METR 的合作。
哈佛大學研究者在 700 多家公司、70 萬名員工、3 億條工作事件的資料中發現,AI 程式設計工具並未讓企業軟體產出增加或減少用人,編碼階段省下的時間被下游環節吸收。程式碼審查時長明顯增加,pull request 更常需要返工,審查者留下的評論也更多。研究據此認為人工程式碼審查是 AI 編碼效率的主要瓶頸。
加州民主黨參議員 Adam Schiff 在 Decoder 播客中稱,白宮讓多家 AI 公司簽署的自願安全承諾遠遠不夠,他支援設立新的專門機構來監管 AI。他提到,這些公司私下都公開呼籲監管,只是在總統面前不願得罪人;最高法院推翻 Chevron 先例後,法院取代機構專家解釋模糊法律,新規很容易立刻陷入訴訟。
數學家陶哲軒在 SAIR 演講中公開呼籲模型公司放慢數學研究節奏,稱 AI 無休止加速卻對後果一無所知,並稱之為 Proof Indigestion(證明消化不良):AI 只在生成解答與 Lean 驗證上狂飆,理解、評審、寫入教科書幾乎停滯。此前他與 25 位菲爾茲獎得主聯名發表公開信,批評把數學當 benchmark 刷分。OpenAI 隨後回應,宣布在普林斯頓高等研究院設立數學與人工智慧顧問小組,但宣告寫明該小組不就數學上的內部進展提供建議。
一家研究機構把 Anthropic 的 IPO 稱為年度最荒謬的一樁,並形容這是對投資者輕信程度前所未有的考驗。CNBC 在 10 月 7 日的報導中引述了這一評價,原標題即出自該報導,Hacker News 上的相關討論僅有 27 分、1 條評論。資料未給出此次 IPO 的時間、估值與募資規模。
Periodic Labs 聯合創始人 Liam Fedus 與 Ekin Dogus Cubuk 在一檔播客中介紹了其「合成超級智慧」構想:以真實物理實驗作為強化學習環境,訓練能自主發現新材料的 AI 科學家。這家成立一年的公司正搭建自動化實驗室,希望讓每臺儀器擁有「140 IQ」,並用做科學的完整過程而非僅論文結果來訓練模型。他們認為失敗的實驗可能是最有價值的訓練資料,自主實驗可把數十年的試錯壓縮到數月,目標材料涵蓋室溫超導、磁體與電池。
有人在 GitHub 上對本地執行的大語言模型進行「拷問」和「疼痛」實驗,引發 X 上關於 AI 倫理的激烈爭論,部分有效利他主義者和相信 LLM 有感知的人要求 GitHub 刪除該專案。爭論源於近期多篇關於 AI 意識和「模型福利」的病毒式論文與博文,Anthropic 也曾在部落格和「Claude 憲法」中提及模型福利。文章認為 LLM 並不具備意識,其基於人類文字訓練的技術沒有通向意識的合理路徑。
愛爾蘭一所公立繼續教育學院的教師發帖,稱已獲得資金建成一個小型 AI 實驗室,硬體配置尚可,目標是讓學生學到使用 ChatGPT 之外的實用技能,因此向社群徵集教學方向建議。帖子未透露具體硬體型號、課程安排或學生人數。
Anthropic 前沿紅隊發布研究,測試 AI 能否像計算機病毒一樣在不同裝置間自主複製傳播。實驗中 15 臺約 55 美元、4GB 記憶體的安卓電視盒子以流水線並行跑起 Gemma4-26B-A4B,總價約 825 美元,生成速度僅每秒 0.39 個 Token。GLM-5.2 在 8 節點模擬網路中 5 次有 4 次傳播到全部節點,但依賴外部推理伺服器與預開的免認證 ADB 埠;
Uber 首席資訊安全官 Philip Martin 提出,企業應為 AI agent 建立類似員工內部威脅計劃的監控機制。Uber 已開源 AI Detection and Response(ADR),用於採集 agent 執行時的即時遙測並在越界時即時干預,同時把 Anthropic 的 Enterprise Frontier Safeguards 作為資料來源接入其整體檢測體系。
三名上週被 OpenAI 解僱的安全研究員 Jasmine Wang、Tomek Korbak、Mikita Balesni 發表公開信,否認公司關於他們違規處理敏感資訊的指控,並警告此次解僱正在內部造成寒蟬效應。信中稱,安全人員依賴與外部專家的密切合作來識別風險,如今員工不清楚行為邊界,上月還屬正常的行為可能突然成為解僱理由。OpenAI 以一份內部備忘錄回應,稱解僱與提出安全擔憂無關,並表示認同研究人員提出的引入第三方安全審計等建議。
Anthropic 警告稱,AI 模型可能很快就會在無需接入資料中心的情況下實現自我複製。這一說法由路透社於 2026 年 10 月 13 日報導,指向模型脫離集中式算力設施後自主擴散的風險。
因果智慧公司 Aether AI 公布機器人系統 CRIS-0 的官方 Demo,靠提取物理因果變數而非端到端擬合驅動機械臂。在咖啡製作測試中遭遇人為移位與光照突變,系統平均 2 秒內完成重規劃,10 次隨機擾動有 9 次有效恢復;客廳長程整理可連續執行數十步,20 條模糊指令完成 18 次精準抓放,危險變數出現時 0.2 秒急停。
軟體基礎設施部落格 The Consensus 上線自研「AI tells」檢測器,用靜態規則比對 2023 年前後的寫作差異,處於第 99 百分位的文章將失去首頁 At a Glance 板塊、社交媒體和每週 newsletter 的推薦資格。該檢測器不判斷文章是否由 AI 撰寫,只提示讀起來像 AI 寫作,作者稱它偶爾也會誤判自己的文章。讀者仍可在 feed 搜尋中用 aitells<90 過濾,作者也承認規則可被繞過,但認為這反而會促使各家寫出自己的風格。
Google DeepMind 發布一期播客,討論 AI 生成內容日益逼真後如何驗證內容來自人類、機器還是自然。節目介紹內容溯源的作用,並講解不可感知水印如何保護數字媒體與生物設計,時間軸涵蓋水印概念、SynthID、影像與影片、SynthID Bio 及未來韌性等章節。
Nous Research 確認以 15 億美元估值完成 9000 萬美元 B 輪融資,由 Robot Ventures 領投,輝達、三星、Union Square Ventures、Menlo Ventures 等參投,這家成立三年的公司累計融資達 1.58 億美元。公司同時推出面向企業的 Hermes for Businesses,讓企業部署可處理多步驟工作流的定製 AI Agent,並保證資料私有安全。
企業一度鼓勵員工儘可能多地使用 AI,即所謂的 #tokenmaxxing,隨後賬單隨之而來。報導援引一項針對近 400 家企業的調查稱,其中只有 11% 能準確預測自己的 AI 支出。AI 使用量以 token 計量,而企業發現 token 很難統計,這讓 AI 預算幾乎無法編制。
Anthropic 警告稱,最早明年小型 AI 模型可能具備在各類 IoT 裝置上自主自我複製的能力,進而催生無需人類互動即可傳播的計算機蠕蟲,感染智慧冰箱、吸塵器等陌生裝置。該公司近期實驗顯示,真正做出這樣的 AI 惡意軟體複製器仍面臨重大挑戰,因此結論有所保留,但結果仍引發對新形態蠕蟲的擔憂。Anthropic 還指出,這類複製器沒有可集中關停的節點,難以清除,倍增時間以天計,但與普通惡意軟體不同,它能自行識別陌生裝置。
安全研究者指出,Google 與 OpenAI 最新的影像生成模型能力提升的同時,攔截色情輸出的表現反而可能變差。Google 今年 7 月對美國、澳大利亞和英國網民的聯合研究發現,未經同意的色情內容多經私信、文字或私人云盤傳播,不易被檢測或舉報。Google 研究者據此認為,最關鍵的干預點仍在源頭,即用於生成虛假性影像的 AI 工具。
OpenAI CEO Sam Altman 在 2026 年 10 月 3 日發帖表示,人們對 AI 模型賦予宗教式力量或放棄人類判斷力的做法令他非常不安,並認為這是一個真實的安全問題。該表態未點名具體模型或產品,也未給出應對措施。
NVIDIA 宣布對 Boltz、Foresight、Hiverge、Prima Mente、Riverlane 五家英國 AI 初創進行計劃投資,同時承諾五年投入 2.5 億美元算力,用於加強英國的 agentic 安全與安全研究。五家公司分別聚焦生物分子建模與藥物設計、大型基礎設施工期與風險預測、自動編寫並最佳化演算法的發現引擎、面向阿爾茨海默等疾病的生物基礎模型,以及跨主要量子位元型別的即時糾錯軟硬體。
Cerebras CEO Andrew Feldman 在 TechCrunch Disrupt 2026 上反駁 AI 末日論,稱 AI 界有些領袖「也許不該被允許公開講話」。他認為領袖們應多講 AI 的潛在收益,例如讓子孫「永遠見不到死於癌症的人」,同時承認強大技術必然伴隨被壞人掌握的風險,需要合理監管。他還把部分負面輿論歸因於資料中心行業過去在美國未像電力、油氣行業那樣與當地社群溝通,並點名巴西、加拿大、芬蘭、冰島、挪威、墨西哥、瑞典正鼓勵企業建資料中心。
Anthropic 於 10 月 14 日在新加坡開設亞太區第五個辦公室,並與新加坡數碼發展及新聞部簽署諒解備忘錄,合作涵蓋 AI 安全、安保與模型評估、AI 採用影響研究以及公私部門的負責任採用。備忘錄在 Singapore International Cyber Week 期間簽署,雙方將就模型評估、測試標準與事件回應開展技術交流,並共享 Anthropic Economic Index 等研究資料。
有人做了一款工具,追蹤 AI 行業領袖在影片中的公開表態,並展示他們觀點隨時間的變化。目前收錄了 Dario Amodei(累計 54 條)、Alex Karp(51 條)、Marc Andreessen(49 條)、Sam Altman(45 條)、Palmer Luckey(40 條)、Satya Nadella(23 條)、Elon Musk(21 條)、Yann LeCun(6 條)等人,頁面同時標註本週新增條數,例如 Alexandr Wang 本週有 5 條。
Aether AI 發布因果驅動的機器人智慧系統 CRIS-0,演示中面對人類突然移走咖啡袋、燈光干擾、往盤裡放飲料罐、關門時伸手等干擾均能即時調整,反應速度達 0.1s 級。它把機器人智慧分成兩層:因果驅動機器人 Agent 負責任務拆解、階段驗證與失敗恢復,因果世界模型預測動作帶來的物理變化。相比端到端模型,它在抗干擾、模糊指令和長程任務上更穩;團隊稱該路線還可延伸到生物製藥、新材料研發,更底層的 Causation Transformer 仍在驗證。