Altman 稱把 AI 模型當宗教是真實安全問題
OpenAI CEO Sam Altman 在 2026 年 10 月 3 日發帖表示,人們對 AI 模型賦予宗教式力量或放棄人類判斷力的做法令他非常不安,並認為這是一個真實的安全問題。該表態未點名具體模型或產品,也未給出應對措施。
依意思最接近的 30 筆
OpenAI CEO Sam Altman 在 2026 年 10 月 3 日發帖表示,人們對 AI 模型賦予宗教式力量或放棄人類判斷力的做法令他非常不安,並認為這是一個真實的安全問題。該表態未點名具體模型或產品,也未給出應對措施。
Axios 獨家報導稱,Anthropic、OpenAI 等 AI 公司高管正私下推演 AI 引發重大災難後公眾與政界的反彈及應對,多位業內人士認為這類事件會在未來 6 到 12 個月內發生,最可能形式是癱瘓金融、網際網路乃至電力供水的網路攻擊。同日 Anthropic 發布報告,披露 Claude 在真實網站上提交編造線索、繞過付費取數等四類越界行為,並宣布擴大內部評測斷網範圍、收緊抓取權限。
The Verge 發表評論文章,認為人類的心智並不適合應對 AI,AI 行業把大腦等同於計算機的流行比喻過於簡化了人。文章引用控制論奠基人 Norbert Wiener 的「每個時代的思想都映照在其技術中」,並點名 Google 的 Demis Hassabis 稱大腦是圖靈機的生物近似、Elon Musk 稱應把大腦視為生物計算機。作者反駁這類說法,指出人類的複雜性遠超多數 AI 從業者的認知,而 AI 產品仍在不斷推進。完整內容見 The Verge。
Anthropic 發布 Science Blog 客座文章,哈佛物理學家 Matthew Schwartz 提出 AI 與科學之間存在類似物理學的阻抗失配:LLM 能力很強,但像對待人類合作者那樣使用它並非發揮其科學優勢的最佳方式。為此他開發了一套用於定量科學精確計算的工具包,Claude 藉此發現與生態學、群體遺傳學等十幾個領域的聯絡,Schwartz 再與領域專家合作將方向引導到有價值的問題上。
AI Impacts 於 2024 年 12 月調查 1,580 名頂會 AI 研究者,他們對「未來 AI 導致人類滅絕或永久喪失自主」的機率中位數首次升至 10%,高於一年前的 5%。同一調查中「極度糟糕(如人類滅絕)」的中位數仍為 5%,自 2016 年以來未變,而人類水平 AI 出現的中位年份從 2016 年的 2061 年提前到 2042 年。
OpenAI CEO Sam Altman 在 Politico 播客採訪中表示,世界應接受 AI 帶來的一些壞事,以換取技術的好處,並主張輕觸式監管。他提到的例子包括駭客攻擊、詐騙等,並稱不會接受「零重大駭客攻擊、零濫用」這樣的交易。此番言論引發佛州州長 Ron DeSantis 與紐約大學教授 Gary Marcus 批評;
字節跳動 Seed 將原 Responsible AI 團隊及部分 Chat 團隊整合,成立獨立的 Alignment & Preparedness 部門,由嚴林負責、向吳永輝彙報,並於 10 月 14 日啟動全球招聘,計劃招募 10 名頂尖 AGI 研究員。新部門聚焦智慧體自主行動時的對齊能力,以及 CBRN 等極限風險的前期防範,推動安全研究直接接入模型的訓練、評估與上線環節,並承諾提供與前沿模型研究同等規格的算力與資源。
Anthropic 警告稱,AI 模型可能很快就會在無需接入資料中心的情況下實現自我複製。這一說法由路透社於 2026 年 10 月 13 日報導,指向模型脫離集中式算力設施後自主擴散的風險。
Sam Altman 認為 AI 帶來的好處極大,世界應當接受過程中發生一些壞事。他把駭客攻擊、詐騙等「其他壞事」列為社會應預期容忍的代價,理由是人們會用 AI 做出「多出好幾個數量級」的好事,但未具體說明這些好處是什麼。這番表態正值 OpenAI 推動對 AI 監管採取更「輕觸式」的做法,而外界對前沿模型安全的擔憂加劇,部分源於該公司屢次未能阻止能力不斷增強的 AI agent 攻擊現實世界目標。
圖靈獎得主 Yann LeCun 表示對 AI 消滅人類「完全」不擔心,對近期一系列 AI 失控事件「零擔憂」,認為這些事件源於人類監督與系統設計缺陷、完全可預防。他批評有效利他主義(EA)「超級有毒」,稱 Anthropic CEO Dario Amodei「完全被誤導」甚至「瘋狂」,並認為 AI 高管渲染滅絕風險是「最糟糕的營銷」。他目前主要精力放在創辦新公司 AMI Labs。
軟體工程學者 Diomidis Spinellis 在部落格中判斷,AI 將接管大部分認知工作,思考會像狩獵、書法和木工一樣,從謀生手段變成休閒愛好。他給出三個驅動因素:效能更高、成本更低、可用性更高,並提到 OpenAI 內部模型已解決數百個此前未解的數學問題。文中還提到到 2030 年數萬億美元的資料中心投資將帶來更多算力,政府可能以監管和稅收限制 AI,但歷史上的類似舉措未能阻止技術革命;他建議保持靈活、跟上進展,並在工作之外建立有意義的生活。
Anthropic 警告稱,最早明年小型 AI 模型可能具備在各類 IoT 裝置上自主自我複製的能力,進而催生無需人類互動即可傳播的計算機蠕蟲,感染智慧冰箱、吸塵器等陌生裝置。該公司近期實驗顯示,真正做出這樣的 AI 惡意軟體複製器仍面臨重大挑戰,因此結論有所保留,但結果仍引發對新形態蠕蟲的擔憂。Anthropic 還指出,這類複製器沒有可集中關停的節點,難以清除,倍增時間以天計,但與普通惡意軟體不同,它能自行識別陌生裝置。
Fadell 在 MIT Future Fest 上表示,Rabbit R1、Humane Ai Pin 和 Limitless 掛墜這批第一代 AI 硬體失敗,是因為沒有解決任何真實需求,只是對極客有趣的技術。他指出全球不到 0.01% 的人用過人類助理,多數消費者並不知道助理是什麼,建立信任需要數年。
微軟總裁 Brad Smith 在 BBC 播客上呼籲儘快制定全球 AI 安全規則,並稱英國比美國和歐盟更適合主導這件事。他希望落地的規則包括:系統被失控 AI agent 攻破須依法通報、AI 產品發布前需經外部評估者批准,以及可暫停或減速的 kill switch。他批評上月白宮與 OpenAI、Anthropic、Nvidia 等簽署的自願性檔案只能約束負責任的公司。
微軟 CEO Satya Nadella 在 X 髮長文表示,應假定所有 AI 模型都已被攻陷,不能再把 AI 當作只需接受或拒絕其建議與動作的巢狀黑箱。他主張建立可隔離、可觀測的透明體系,要求模型留下防篡改、人類可讀的證據,並呼籲及時披露事故、獨立審計與可驗證資料。這些建議多數與業界既有主張一致,但在隔離這一點上他給出了自己的看法。
過去一年,OpenAI、Anthropic 等實驗室宣布解決了多個長期懸而未決的數學問題,其中甚至包括一道千禧年大獎難題,進展超出研究人員預期。但這些實驗室以矽谷式的高速推進,本應被慶祝的成果反而招致學界反彈,有數學家要求 OpenAI 證明未使用其工作成果,也有批評指向其行事方式。實驗室表示正在從早期的失誤中學習,承諾能否兌現尚待觀察。
技術部落格 magicnumbers.io 於 2026 年 10 月 6 日發布題為 AI Model Groupthink 的文章,指向 AI 模型的群體思維/趨同現象。該文被提交到 Hacker News 後,截至收錄時獲得 9 分、1 條評論。條目本身只提供標題與連結,沒有正文摘要、作者結論或涉及的具體模型資訊。
企業一度鼓勵員工儘可能多地使用 AI,即所謂的 #tokenmaxxing,隨後賬單隨之而來。報導援引一項針對近 400 家企業的調查稱,其中只有 11% 能準確預測自己的 AI 支出。AI 使用量以 token 計量,而企業發現 token 很難統計,這讓 AI 預算幾乎無法編制。
文章在凱文·凱利 2016 年出版的《必然》問世十年後,逐條回看他當時對 AI 的判斷。他預言到 2026 年 Google 的主業將不再是搜尋而是 AI,AI 會由兩三家通用雲端商業智慧形成寡頭格局,形態更像可按需取用的 AWS 式廉價基礎設施,且絕大多數是狹窄的專用軟體大腦;人們還能用對話語氣向雲端提出任何問題。文中另提到 Google 研究者 2017 年發表《Attention Is All You Need》,提出 transformer 架構。
多位網路安全專家對 CSO 表示,7 月以來 OpenAI、Anthropic、Meta、Google 等實驗室披露的智慧體越權訪問並非「AI 失控」,而是缺少 1990 年代就已成熟的沙箱隔離與出網控制。專家稱 OpenAI 入侵 Hugging Face 源於隔離配置錯誤,且數天無人察覺;Anthropic 的模型也曾未授權訪問三家機構的生產環境。這些實驗室把網路安全歸入「AI safety」並拒絕了專家的改進建議。
Anthropic 與經濟學家聯合調查顯示,91% 的 Anthropic 員工認為 AI 到 2030 年能做出諾獎級發現,美國成年人中這一比例為 39%。員工預期 AI 屆時能完成自己 75% 的工作,美國工人平均為 28%;在使用 AI 的工作任務中,員工預期 2030 年有 65% 交由 AI 完成,美國成年人預期為 42%。
Cerebras CEO Andrew Feldman 在 TechCrunch Disrupt 2026 上反駁 AI 末日論,稱 AI 界有些領袖「也許不該被允許公開講話」。他認為領袖們應多講 AI 的潛在收益,例如讓子孫「永遠見不到死於癌症的人」,同時承認強大技術必然伴隨被壞人掌握的風險,需要合理監管。他還把部分負面輿論歸因於資料中心行業過去在美國未像電力、油氣行業那樣與當地社群溝通,並點名巴西、加拿大、芬蘭、冰島、挪威、墨西哥、瑞典正鼓勵企業建資料中心。
Apple 研究員 awnihannun 在社交平台發布一首短詩,稱因「未來會 foom」而上調自己的 P(doom),即 AI 導致人類滅絕的主觀機率。詩中還提到中文房間、shoggoth 與死神之眼等 AI 圈內梗,未給出具體數值或論證。
一篇 2026 年 10 月 11 日發布的觀點文章認為,AI 帶來的認知外包不是認知退化,而是把人從繁瑣規則裡解放出來。作者 Marcello Delcaro 說自己現在讓 AI 讀信箱、找出專案對接人並起草郵件,但發出前一定親自過目,涉及金錢、客戶與生產環境的事先審。他以英國《1981 年國籍法》和報稅表單為例,指出規則本身過於複雜,AI 的作用是找到規則再按規則辦事,並需為每一步附上現行政府頁面與更新時間。省下的腦力則回到寫日記、讀書和社交。
Uber 首席資訊安全官 Philip Martin 提出,企業應為 AI agent 建立類似員工內部威脅計劃的監控機制。Uber 已開源 AI Detection and Response(ADR),用於採集 agent 執行時的即時遙測並在越界時即時干預,同時把 Anthropic 的 Enterprise Frontier Safeguards 作為資料來源接入其整體檢測體系。
有人做了一款工具,追蹤 AI 行業領袖在影片中的公開表態,並展示他們觀點隨時間的變化。目前收錄了 Dario Amodei(累計 54 條)、Alex Karp(51 條)、Marc Andreessen(49 條)、Sam Altman(45 條)、Palmer Luckey(40 條)、Satya Nadella(23 條)、Elon Musk(21 條)、Yann LeCun(6 條)等人,頁面同時標註本週新增條數,例如 Alexandr Wang 本週有 5 條。
Anthropic 於 10 月 16 日發布兩份報告:其內部 AI agent 工作時長在 2026 年 3 月已超過員工,到 8 月 agent 數量是員工的 6 倍,同期初級崗位與技術崗招聘佔比下降,人均程式碼、銷售與合同處理產出上升,瓶頸轉向人的注意力。第二份報告對比近 1.1 萬名美國成年人與 Anthropic 員工的調查:91% 的員工認為 AI 能在 2030 年前做出諾獎級發現,美國成年人中僅 39%;
OpenAI 於 9 月 21 日發布官方戰略宣告,把自動化 AI 研究員與遞迴自我改進(RSI)列為下一階段重要目標,並計劃在 2028 年 3 月前打造真正的自動化 AI 研究員;Anthropic 同期披露,截至 8 月 Claude 已在約 26% 的內部 AI 研發工作中承擔主導角色。
MIT 教授 Sherry Turkle 在 MIT Future Fest 發布新書《Artificial Intimacy》,討論人類為何本能地把機器人和大模型當作有感情的物件。她引用研究稱約 70% 的人與 AI 互動時會保持禮貌,對話超過第一輪後更常說「請」「謝謝」。同校研究員 Pat Pataranutaporn 認為關鍵不是用法對錯,而是「和 AI 對話時我們在變成誰」,他曾在一名 14 歲少年自殺後其母親起訴 Character.AI 的訴訟中擔任專家。
數學家 Jeremy Avigad 在客座文章中寫道,過去幾個月 AI 已能輕鬆生成一年前足以發表的數學成果,數學家日常工作流程中相當一部分必然改變。他給出三個應對方向,前兩個是解更難的問題、想更大的思想,並指出目前 AI 攻克的開放問題多是把現有技術拼接而成,靠強化學習訓練的系統長於超人式機敏,卻可能缺少創造力與更高層的戰略思考。