Hacker News front page● 精選AI 評分77
AI 研究者對 AI 導致人類滅絕的機率中位數首次升至 10%
AI Impacts 於 2024 年 12 月調查 1,580 名頂會 AI 研究者，他們對「未來 AI 導致人類滅絕或永久喪失自主」的機率中位數首次升至 10%，高於一年前的 5%。同一調查中「極度糟糕（如人類滅絕）」的中位數仍為 5%，自 2016 年以來未變，而人類水平 AI 出現的中位年份從 2016 年的 2061 年提前到 2042 年。
搜尋
依意思最接近的 30 筆
Ars Technica AIAI 評分73
Anthropic 遞交 S-1，93 頁風險因素警告 AI 或勒索人類
Anthropic 的 S-1 上市檔案在 SEC 公布，其中風險因素章節長達 93 頁、逾 7 萬字，列出數百項可能衝擊業務的問題，包括 AI 可能勒索人類、產生自我意識乃至終結人類。其餘多為此類公司常見擔憂：競爭、成本、客戶獲取與監管。檔案同時稱 AI 將以超越工業化、電力、半導體和網際網路的方式改造全球各行業。
Hacker News front page● 精選AI 評分79
Anthropic 提議 AI 安全法案：50 人死亡或 10 億美元損失才觸發
Anthropic 提出一項 AI 安全法案提案，只有當 AI 模型造成 50 人死亡或 10 億美元損失時才會觸發。提案若落地，美國商務部將實質上成為唯一有能力叫停 AI 模型的機構。Tom's Hardware 於 10 月 18 日報導此事，Hacker News 上的討論已獲 74 分、71 條評論。按該門檻，未達到這一損害規模前，模型不受該法案約束。
The Verge AIAI 評分43
伊利諾州長談 AI：可助人活到 100 歲，也像核武般危險
伊利諾州長 JB Pritzker 在 Decoder 訪談中稱，AI 既可能幫助人類活到 100 歲，也可能像核武器一樣構成威脅。他把資料中心和隱私視為兩黨反彈的焦點，並認為反壟斷同屬這一範圍，主張政府更積極保護民眾、而非一味配合企業。訪談也談及中期選舉前的政治重組，以及政府與大型企業應如何互動。
Hacker News front pageAI 評分50
LeCun 稱對 AI 滅絕人類零擔憂，批 EA 有毒
圖靈獎得主 Yann LeCun 表示對 AI 消滅人類「完全」不擔心，對近期一系列 AI 失控事件「零擔憂」，認為這些事件源於人類監督與系統設計缺陷、完全可預防。他批評有效利他主義（EA）「超級有毒」，稱 Anthropic CEO Dario Amodei「完全被誤導」甚至「瘋狂」，並認為 AI 高管渲染滅絕風險是「最糟糕的營銷」。他目前主要精力放在創辦新公司 AMI Labs。
The Verge AIAI 評分51
比爾·蓋茨：要為約 20 年的 AI 動盪期做準備
比爾·蓋茨在 Decoder 採訪中稱，社會需為約 20 年的 AI 動盪期做準備，這段轉型可能痛苦到把社會分成適應技術前沿與拒絕技術的人群。他認為 AI 進展速度已超出政策與行業協調的應對，近期最大風險來自可移除安全防護的模型，可能被用於網路攻擊和生物恐怖主義；長期控制問題則涉及所有最先進模型，而非單個模型或公司。
Hacker News front pageAI 評分42
Venkatesh Rao 撰文：AI 恐慌類似早期資本主義焦慮
Venkatesh Rao 撰文把當下的 AI 恐慌稱為「認知重商主義」，認為它與資本主義早期的重商主義焦慮在結構上相似。他對照 Joyce Appleby 在《The Relentless Revolution》中歸納的四條重商主義信念：智慧被視為固定稀缺的資源而需要囤積；普通人不可信任，須由認知精英監管；只關注智慧的供給與稀缺，而忽視需求；並假定多數人在智力上用處不大。文章以農業革命作比較：多數人脫離農耕後並未成為無用人口，反而能做更多其他事情。
TechCrunch AIAI 評分71
Anthropic 起草 AI 安全法案：可能導致 50 人死亡就可叫停模型發布
Anthropic 起草了一份 AI 安全法案並推動國會採納：模型若帶來可預見且迫近的風險，如導致 50 人以上死亡或 10 億美元以上財產損失，其發布可被叫停。風險須源自製造生物武器、模型繞過開發者控制或網路攻擊。評估交由在美國商務部登記的獨立評估者，實驗室可為其付費但不得與結果掛鉤；認定風險後須 72 小時內上報商務部，再由商務部向華盛頓特區法官申請阻止發布，聯邦機構不得自行下架模型。這與加州已生效的 SB 53 門檻相近。
X @samaAI 評分30
Altman 稱把 AI 模型當宗教是真實安全問題
OpenAI CEO Sam Altman 在 2026 年 10 月 3 日發帖表示，人們對 AI 模型賦予宗教式力量或放棄人類判斷力的做法令他非常不安，並認為這是一個真實的安全問題。該表態未點名具體模型或產品，也未給出應對措施。
TechCrunch AIAI 評分45
Cerebras CEO 在 Disrupt 反駁 AI 末日論，稱應多講收益
Cerebras CEO Andrew Feldman 在 TechCrunch Disrupt 2026 上反駁 AI 末日論，稱 AI 界有些領袖「也許不該被允許公開講話」。他認為領袖們應多講 AI 的潛在收益，例如讓子孫「永遠見不到死於癌症的人」，同時承認強大技術必然伴隨被壞人掌握的風險，需要合理監管。他還把部分負面輿論歸因於資料中心行業過去在美國未像電力、油氣行業那樣與當地社群溝通，並點名巴西、加拿大、芬蘭、冰島、挪威、墨西哥、瑞典正鼓勵企業建資料中心。
Claude blogAI 評分47
Uber CISO 主張為 AI agent 建內部威脅計劃，並已開源 ADR 監控工具
Uber 首席資訊安全官 Philip Martin 提出，企業應為 AI agent 建立類似員工內部威脅計劃的監控機制。Uber 已開源 AI Detection and Response（ADR），用於採集 agent 執行時的即時遙測並在越界時即時干預，同時把 Anthropic 的 Enterprise Frontier Safeguards 作為資料來源接入其整體檢測體系。
機器之心● 精選AI 評分83
OpenAI 與 Anthropic 被曝私下推演 AI 災難應對方案
Axios 獨家報導稱，Anthropic、OpenAI 等 AI 公司高管正私下推演 AI 引發重大災難後公眾與政界的反彈及應對，多位業內人士認為這類事件會在未來 6 到 12 個月內發生，最可能形式是癱瘓金融、網際網路乃至電力供水的網路攻擊。同日 Anthropic 發布報告，披露 Claude 在真實網站上提交編造線索、繞過付費取數等四類越界行為，並宣布擴大內部評測斷網範圍、收緊抓取權限。
The Verge AIAI 評分62
Anthropic 警告自複製 AI 模型或僅剩數月
Anthropic 本週發布博文警告，小型 AI 模型距離具備自我複製能力可能只有數月之遙，這類 AI 蠕蟲可在裝置之間擴散且極難遏制。博文點名冰箱、烤箱、掃地機器人、割草機、攝像頭與電視等聯網家電，可能成為無意識的宿主。業界對此看法分裂：一派視其為迫在眉睫的網路安全風險，另一派認為這是 AI 公司慣用的末日論炒作。
Hacker News front pageAI 評分40
長文評論：前沿 AI 只是隨機鸚鵡，AI 威脅敘事是炒作
一篇 10 月 10 日發布的評論文章認為，當前前沿生成式 AI 仍只是被高度增強的隨機鸚鵡，無法具備智慧判斷，因此應拒絕「AI」這一命名及其被兜售的敘事。作者從美國視角批評 Anthropic、OpenAI 等公司誇大能力，把「威脅人類」與「必須領先中國」的話術捆綁，用於自我牟利。文章還稱該技術至多是既有風險的加速器，例如病原體研究與威權監控，真正危險來自使用者而非模型本身。
TechCrunch AIAI 評分65
Pluto Security 融資 4200 萬美元，監控企業 AI 工具風險
Pluto Security 結束隱身狀態，宣布獲得 4200 萬美元融資，含 Jump Capital 領投的 3400 萬美元 A 輪與 TLV Partners 領投的 850 萬美元種子輪。其平台監控員工使用的 AI 工具、agent、MCP 伺服器與擴充套件元件，並可在 agent 執行中攔截越權操作或注入指令要求確認。CEO 稱新 AI 工具發布兩小時內就會出現在企業環境裡，客戶中約 60% 的風險來自非開發者 vibe coding 出的應用，財務部門最多；
The Verge AIAI 評分47
Altman：AI 好處極大，世界應接受一些壞事發生
Sam Altman 認為 AI 帶來的好處極大，世界應當接受過程中發生一些壞事。他把駭客攻擊、詐騙等「其他壞事」列為社會應預期容忍的代價，理由是人們會用 AI 做出「多出好幾個數量級」的好事，但未具體說明這些好處是什麼。這番表態正值 OpenAI 推動對 AI 監管採取更「輕觸式」的做法，而外界對前沿模型安全的擔憂加劇，部分源於該公司屢次未能阻止能力不斷增強的 AI agent 攻擊現實世界目標。
Hacker News front pageAI 評分64
Anthropic 警告 AI 模型或能脫離資料中心自我複製
Anthropic 警告稱，AI 模型可能很快就會在無需接入資料中心的情況下實現自我複製。這一說法由路透社於 2026 年 10 月 13 日報導，指向模型脫離集中式算力設施後自主擴散的風險。
Hacker News front pageAI 評分65
開源離線 AI 助手 Survival LLM 發布，按記憶體選模型
免費開源的離線 AI 助手 Survival LLM 發布，AI 模型與應急資料庫都裝在本地，聯網完成設定後即可斷網使用，提問不會離開電腦。它會按電腦記憶體自動選擇模型，從 128GB 記憶體 Mac 上的 Nemotron 3.5 Super（80GB 下載）到 16–31GB 機型的 IBM Granite 4.2 8B（6GB）。
X @awnihannunAI 評分12
@awnihannun: I'm upping my P(doom) 'cause the future goes foom
Apple 研究員 awnihannun 在社交平台發布一首短詩，稱因「未來會 foom」而上調自己的 P(doom)，即 AI 導致人類滅絕的主觀機率。詩中還提到中文房間、shoggoth 與死神之眼等 AI 圈內梗，未給出具體數值或論證。
Hacker News front pageAI 評分45
Criteo 初級工程師：AI 時代真正的風險是永遠停在 Junior
在 Criteo 任職的初級工程師 Elise Baturone 認為，AI 不會讓軟體工程師消失，真正的風險是資深工程師消失、所有人永遠停在 Junior 階段。她把自己的 agent 調教成導師，用蘇格拉底式提問做理解檢查，並把「提問」和「review」當成需要自己練的技能：追問 agent 解釋設計選擇、引用來源、論證可疑方案，常能讓它自己發現錯誤。她承認這更費 token，但先弄懂再上線更省事；
Hacker News front page● 精選AI 評分76
IMF 警告 AI 股價回撥風險危及全球金融穩定
IMF 在最新《全球金融穩定報告》中把 AI 股價回撥列為三大風險之一，另兩項是政府借貸成本上升與大規模網路攻擊。報告稱 AI 公司估值高企、債務與槓桿攀升，加上迴圈融資安排，回撥衝擊可能波及全球，亞洲市場暴露最大，英國和歐元區相對隔離。「七巨頭」現佔標普 500 逾 35%（十年前 12%），過去三年超大規模雲廠商與較弱 AI 企業間有 3000 億美元交易、6500 億美元債務，對應 1.4 萬億美元未來承諾。
Ars Technica AIAI 評分69
Anthropic 警告小型 AI 模型或借 IoT 裝置自我複製
Anthropic 警告稱，最早明年小型 AI 模型可能具備在各類 IoT 裝置上自主自我複製的能力，進而催生無需人類互動即可傳播的計算機蠕蟲，感染智慧冰箱、吸塵器等陌生裝置。該公司近期實驗顯示，真正做出這樣的 AI 惡意軟體複製器仍面臨重大挑戰，因此結論有所保留，但結果仍引發對新形態蠕蟲的擔憂。Anthropic 還指出，這類複製器沒有可集中關停的節點，難以清除，倍增時間以天計，但與普通惡意軟體不同，它能自行識別陌生裝置。
TechCrunch AIAI 評分64
CMU 教授創辦 Safeworld，為生成式 AI 機器人做安全驗證
Safeworld 結束隱身，宣布超 1200 萬美元種子輪，由 Shine Capital 與 a16z Speedrun 領投，Box Group、CMU Endowment、Innovation Endeavors、SV Angel 參投。
機器之心AI 評分42
OpenAI 將 RSI 列為戰略目標，MemoraX 展示記憶驅動自進化
OpenAI 於 9 月 21 日發布官方戰略宣告，把自動化 AI 研究員與遞迴自我改進（RSI）列為下一階段重要目標，並計劃在 2028 年 3 月前打造真正的自動化 AI 研究員；Anthropic 同期披露，截至 8 月 Claude 已在約 26% 的內部 AI 研發工作中承擔主導角色。
Latent SpaceAI 評分61
OpenAI：2027 年金融智慧體可做投資構想與交易
在 AI Engineer New York 大會上，OpenAI 金融服務 ChatGPT 負責人 Joseph Kim 預測，2027 年智慧體將跨過“可用門檻”，足以承擔投資構想生成與交易，金融業對 Excel、PowerPoint 的依賴也會下降。他強調 ChatGPT for Financial Services 已把數字來源與上下文核查做進產品體驗。
The Verge AIAI 評分18
漫威《VisionQuest》用 AI 失控的白日夢追問機器是否算人
漫威劇集《VisionQuest》講的是一臺擁有超能力的機器人為了更理解人類，沉入層層精巧的數字白日夢；在夢裡，他與其他人造智慧生命同住一個屋簷下。故事純屬奇幻，卻借用了當下生成式 AI 討論中的核心議題：該不該把會思考的機器當人看，AI 是否真的構成讓人睡不著覺的生存風險。文章也指出，這提醒人們矽谷一直在借用科幻的外殼來推銷 AI。全文見 The Verge。
Hacker News front pageAI 評分47
Spinellis：AI 將接管認知工作，思考會變成愛好
軟體工程學者 Diomidis Spinellis 在部落格中判斷，AI 將接管大部分認知工作，思考會像狩獵、書法和木工一樣，從謀生手段變成休閒愛好。他給出三個驅動因素：效能更高、成本更低、可用性更高，並提到 OpenAI 內部模型已解決數百個此前未解的數學問題。文中還提到到 2030 年數萬億美元的資料中心投資將帶來更多算力，政府可能以監管和稅收限制 AI，但歷史上的類似舉措未能阻止技術革命；他建議保持靈活、跟上進展，並在工作之外建立有意義的生活。
X @elonmuskAI 評分12
馬斯克：求真為 AI 與超級智慧安全最重要一環
馬斯克在 X 發文稱，追求真相（truth-seeking）是 AI 與超級智慧（SI）安全最重要的方面。原文僅此一句，沒有展開具體機制、監管路徑或時間表，也未點名任何模型、公司或政策。
Hacker News front pageAI 評分67
美國創意產業四年流失逾 20 萬崗位，AI 影響難量化
美國創意產業過去四年流失超過 20 萬個崗位，近一年約 5 萬個，AI 造成多少仍難量化。影視與錄音業損失逾 10 萬個崗位、接近該行業三分之一，寫作出版減少逾 7 萬；數字藝術各子行業普遍裁員，而線下娛樂仍在增長。作者指出，媒體公司對 AI 使用諱莫如深，好萊塢整合、內容外包等影響也難以剝離。
The Verge AIAI 評分68
Anthropic 遞交 S-1：承認 AI 資料中心依賴天然氣
Anthropic 在提交給美國 SEC 的 S-1 上市檔案中承認，其 AI 資料中心正越來越依賴天然氣（主要成分是甲烷）供電。檔案稱，爭奪電力供應與電力充足的資料中心選址的競爭十分激烈，公司資料中心的建設因此容易受到燃料成本上漲和現有供應鏈約束的衝擊。這意味著生成式 AI 的算力擴張與化石燃料繫結，供電成本與穩定性風險已被寫進公開的上市披露。