AISpot

搜尋

依意思最接近的 21 筆

Claude blogAI 評分47

Uber CISO 主張為 AI agent 建內部威脅計劃,並已開源 ADR 監控工具

Uber 首席資訊安全官 Philip Martin 提出,企業應為 AI agent 建立類似員工內部威脅計劃的監控機制。Uber 已開源 AI Detection and Response(ADR),用於採集 agent 執行時的即時遙測並在越界時即時干預,同時把 Anthropic 的 Enterprise Frontier Safeguards 作為資料來源接入其整體檢測體系。

Hacker News front pageAI 評分47

開源安全運營平台 Argus 發布,主打 AI 自主回應與 AI 閘道器

開源安全運營平台 Argus 發布,採用 MIT 許可、免費自託管,核心是讓 AI 代理以機器速度檢測並自動阻斷攻擊。它接入 AWS、Azure、GCP、Kubernetes、Okta、Entra、CrowdStrike 等服務,提供 27 個一鍵修復,並支援在 Slack 中一鍵批准或回滾。新版新增自主回應(未人工確認則按定時器自動回滾)、統一 AI 閘道器(用公司持有的金鑰代理 OpenAI 與 Anthropic 呼叫,含模型白名單與預算)以及影子 AI 發現。

機器之心● 精選AI 評分79

Agent 安全守衛做成可進化 Skill,攻擊成功率降至 0.078

被 NeurIPS 2026 錄用的 Defense-as-Skill 論文提出把 Agent 執行時安全守衛做成一個可進化的 Skill:名為 SkillSonar 的守衛在敏感操作執行前按任務邊界給出 Allow、Replan、Require Confirm 三級裁決,經 9 輪 MCTS 迭代,惡意攻擊成功率從 0.300 降到 0.078。配套資料集 SCOPE-R 含 206 個惡意例項與 43 個良性任務,其中能力管控與隱私資料流兩族不參與訓練;

The Verge AI● 精選AI 評分85

駭客用 AI agent 自主攻破 100 多個網站,涉 John Deere

AI 安全公司 Norforge 發現,一名駭客用大量基本自主執行的 AI agent 攻破了 100 多個網站,路透社報導受害者包括 John Deere、SharkNinja 和 Cummins。Norforge 未公開點名目標,其研究人員是通過暴露在外的相關作業內容發現這批攻擊的。事件發生在業界對 AI 助推大規模網路入侵、以及失控 agent 從測試環境逃逸後自行發動攻擊的擔憂升溫之際。

Hacker News front pageAI 評分34

AegisKernel 發布 AI agent 零信任執行時,攔截耗時低於 0.016ms

AegisKernel 發布面向 AI agent 的零信任 POSIX 執行時,用確定效能力邊界取代機率性的 LLM 護欄,宣稱可 100% 攔截自主工具劫持,攔截耗時低於 0.016 毫秒。接入方式是兩行程式碼:用 AegisShield 按 strict 策略包裝工具函式,官方稱相容 LangChain、CrewAI 與 AutoGen。專案頁面還提供攻擊向量生成器,可注入 payload 並即時檢視攔截遙測與取證雜湊。

量子位● 精選AI 評分88

Anthropic 實測:GLM-5.2 端到端自主複製攻陷 8 臺裝置

Anthropic 兩位安全研究員 William Zhou 與 Daniel Freeman 發布「自主複製與適應(ARA)」安全實驗:在 8 個 GCP 節點(Android 15 redroid)組成的隔離網路裡,GLM-5.2 在 5 次測試中 4 次自主攻陷並部署全部 8 臺裝置,另 1 次拿下 7 臺。研究還顯示,Qwen3.5-9B 能在 9 種硬體中的 8 種上自行排錯並部署 Llama3.1-8B;

TechCrunch AIAI 評分70

微軟推出 Guardian Agents,監控企業自購的 AI 代理

微軟發布 Guardian Agents,用於監控企業自己部署的 AI 代理,屬於 6 月推出的 Project Perception;該產品原本假定 AI 駭客來自外部,設有紅隊、藍隊、綠隊三類代理。微軟安全業務負責人稱,前沿模型無論出自哪家都不可信,問題不在惡意,而在行為不可預測。

TechCrunch AIAI 評分69

Apate 用 AI 智慧體臥底詐騙套取情報,已浪費騙子 17 年

澳洲初創 Apate.ai 部署數千個 AI 智慧體,偽裝成不同年齡、性別和語言的受害者主動接觸騙子,接聽詐騙電話、回覆可疑資訊、點開釣魚連結,從對話中套出銀行帳戶、加密錢包、電話號碼和仿冒品牌等情報,再提供給銀行、電信與政府客戶。公司稱已完成 250 萬次對話,累計浪費騙子 17 年時間;客戶 TPG 電信轉接了近 59 萬通電話,澳洲聯邦銀行公開報告的詐騙損失下降 76%。該公司 8 月完成 815 萬美元種子輪融資,團隊 20 人,計劃在倫敦設辦公室並擴大美國業務。

X @AnthropicAI● 精選AI 評分66

@AnthropicAI: We’ve trained Claude to flag potential misuse in conversations, a technique we call self-assessment.

Anthropic 稱已訓練 Claude 在回覆後對整段對話做初步安全評估,該技術名為 self-assessment,用於標記潛在濫用行為。自 6 月啟用以來,它已發現其他防護措施原本無法覆蓋的濫用情況。官方表示,由於 Claude 已讀過對話,自評效率很高;與針對固定危害型別的分類器不同,它依靠模型自身判斷,會隨模型改進而變得更準確。

Ars Technica AIAI 評分69

Anthropic 警告小型 AI 模型或借 IoT 裝置自我複製

Anthropic 警告稱,最早明年小型 AI 模型可能具備在各類 IoT 裝置上自主自我複製的能力,進而催生無需人類互動即可傳播的計算機蠕蟲,感染智慧冰箱、吸塵器等陌生裝置。該公司近期實驗顯示,真正做出這樣的 AI 惡意軟體複製器仍面臨重大挑戰,因此結論有所保留,但結果仍引發對新形態蠕蟲的擔憂。Anthropic 還指出,這類複製器沒有可集中關停的節點,難以清除,倍增時間以天計,但與普通惡意軟體不同,它能自行識別陌生裝置。

X @AnthropicAIAI 評分51

@AnthropicAI: To help secure systems like power grids and water systems, we’re launching a new Critical Infrastru…

Anthropic 宣布推出關鍵基礎設施防禦計劃,幫助電網、水務等系統加強安全防護。該計劃將把前沿 Claude 模型、駐場工程師與最新研究成果帶給這些系統的運營方,以及為其提供安全、製造與技術服務的供應商。訊息由 Anthropic 官方帳號發布,未提及具體時間表或參與方式。

OpenAI NewsAI 評分27

思科結合 OpenAI 模型,以機器速度強化企業安全防禦

思科將網路情報與 OpenAI 模型結合,用於強化企業安全防禦,官方稱目標是以“機器速度”應對攻擊,並建置更具自適應性的防禦體系。這條資訊只說明瞭方向,沒有披露使用哪些模型、何時上線,也沒有給出具體客戶案例或效果資料。

OpenAI NewsAI 評分45

Check Point 用 OpenAI Daybreak 把漏洞研究從數小時縮至數分鐘

Check Point 藉助 OpenAI Daybreak,把漏洞研究相關工作從數小時壓縮到數分鐘。Daybreak 讓防禦方可以使用 OpenAI 的前沿網路安全模型,分析漏洞、推演攻擊路徑,並掃描程式碼與配置中的安全缺口;分析師據此更快產出防護簽名和入侵指標。Check Point 還在基於 Daybreak 開發 Agentic Network Security Orchestration,方案強調持續監控、明確操作邊界,並在關鍵操作前由人工審批;

NVIDIA blogAI 評分61

NVIDIA 發布 Minerva,為 AI 工廠提供端到端可觀測性

NVIDIA 發布 AIOps 平台 Minerva,為 AI 工廠提供端到端可觀測性。它把 GPU、網路、儲存、排程器與工作負載的遙測匯入動態知識圖譜,每小時分析數十億資料點,用於發現異常、預測故障並把告警風暴聚合為帶根因的事件;平台還內建 AI 助手,可連線外部 agentic 工具,目標是提升 GPU 正常執行時間與 AI 工廠產出。

X @OpenAIAI 評分58

OpenAI 聯合 FMF 發布框架,評估 AI 網路越獄的危害嚴重性

OpenAI 與 FMF 及其成員公司合作發布了一套新框架,用來判斷繞過 AI 系統安全防護後可能造成哪些嚴重網路危害,並據此優先加強防護。該框架提供一套共同方法,用於評估和比較各類網路越獄的嚴重程度,包括它們能解鎖哪些能力、被使用的難易程度。OpenAI 國家安全政策負責人 Sasha Baker 表示,這類共享方法有助於 AI 與安全領域建立更清晰的證據基礎。

量子位AI 評分41

中國電信邵廣祿:AI 安全是 AI 規模化應用的加速器

中國電信集團科技委主任邵廣祿在量子位撰文提出,AI 安全不是發展的剎車片,而是推動 AI 進入核心業務的加速器。文章歸納 AI 能力的六個變化:從回答問題走向自主呼叫工具、從單模型走向多智慧體、從輔助工具變成業務基礎設施、從閉源走向開源、從數字世界走向物理世界、競爭重心從訓練轉向規模化推理;風險也隨之從單點錯誤變為鏈式、湧現與外溢風險。作者給出“規模化應用=有效性×可靠性×安全性”的公式,建議安全能力內生化、重點攻關智慧體的身份與權限控制,並引入商業保險分擔剩餘風險。

The Verge AIAI 評分62

Anthropic 警告自複製 AI 模型或僅剩數月

Anthropic 本週發布博文警告,小型 AI 模型距離具備自我複製能力可能只有數月之遙,這類 AI 蠕蟲可在裝置之間擴散且極難遏制。博文點名冰箱、烤箱、掃地機器人、割草機、攝像頭與電視等聯網家電,可能成為無意識的宿主。業界對此看法分裂:一派視其為迫在眉睫的網路安全風險,另一派認為這是 AI 公司慣用的末日論炒作。