AISpot

搜尋

依意思最接近的 30 筆

r/LocalLLaMA top of the dayAI 評分42

專用推理引擎興起,放棄通用性換極致效能

近期出現一批極窄用途的推理執行時,包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性,只針對少數模型甚至單一硬體家族(如 Strix Halo)做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態,並有助於智慧的民主化與去中心化,讓現有硬體在特定配置下榨出最大輸出。

Hacker News front pageAI 評分56

Minotaur 不用語言模型與 GPU 完成演繹歸納等推理

Minotaur 這套不依賴語言模型、也不用 GPU 的 AI 架構,能完成演繹、歸納、溯因、診斷、實驗選擇與信念修正等多種推理,全部由單個網路、單個普通 CPU 核心完成,每題約 0.25 秒。在由從未看過其程式碼的人設計的盲測中,它在一道“提問會改變證人記憶”的警方訊問推理題,以及僅憑資料學習、診斷和預測系統兩項上,與當前語言模型表現持平。文章還回顧了邏輯理論家、通用問題求解器、專家系統、Prolog 與日本第五代計算機專案等前語言模型路線各自的止步之處。

機器之心● 精選AI 評分79

蘋果與 CMU 提出 SSR:Agent 推理改為做選擇題,每輪延遲降超 90%

蘋果與卡內基梅隆大學提出 SSR 框架,讓多模態搜尋 Agent 不再逐 token 生成自由形式推理,而是從 6 條預定義推理選項中做選擇題。在 7 個多模態搜尋 benchmark 上,每輪推理延遲降低超過 90%,每題總推理延遲降低 28–54%,p95 推理延遲僅 0.07 秒;4B 模型平均成功率 61.37%,與同規模 SOTA 持平,2B 達 51.26%。推理選擇由模型自身打分完成,不需要額外分類頭,也可跳過 SFT warm start 直接接 RL 訓練。

NVIDIA blogAI 評分55

NVIDIA Vera CPU 獲 Nebius、Nscale 等歐洲雲商採用

NVIDIA Vera CPU 被 Nebius、Nscale、Verda 等歐洲 AI 雲服務商採用,用於搭建面向 agent 的基礎設施。Vera 承擔 agent 檢索資訊、執行程式碼與執行工具時的 CPU 計算,官方稱在同時執行數千個任務時仍能保持回應速度。Dell、HPE、Lenovo、Supermicro、Bull 將推出 Vera 系統;ClickHouse、SAP、Elastic 等稱早期測試中分析與 ETL 負載表現良好;

llama.cpp releasesAI 評分51

llama.cpp server 通過 /props 暴露推理強度等級

llama.cpp 建置 b11944 讓 server 在 /props 的 chat_template_caps 中以 reasoning_effort_levels 欄位報告聊天模板支援的推理強度等級,按從低到高排列。探測方式是對 minimal、low、medium、high、xhigh、max 及一個未知等級分別渲染使用者輪次,能正常渲染且結果與未知等級不同才算被支援;渲染結果相同的視為別名,只保留最高階。

機器之心● 精選AI 評分68

AlphaGo 核心作者稱 LLM 不會推理,離開 DeepMind 創業

AlphaGo 核心作者 Thore Graepel 在 MIT Technology Review 發文稱 LLM 不會推理,並已離開 Google DeepMind 創業做可審計的機器推理。他指出 AlphaGo 第 37 手是策略網路加搜尋機制的結果,而 LLM 的思維鏈仍只是預測下一個 token,缺少可檢查的認知狀態、知識與推理的分離,且常事後編造解釋。Yann LeCun 表示讚賞,認為真正推理必須涉及搜尋。

Hacker News front pageAI 評分54

Altman 稱 DRAM 應優先供資料中心,本地推理很糟糕

OpenAI CEO Sam Altman 在 YouTube 頻道 Cheeky Pint 的喝酒訪談中稱本地推理“相當糟糕”,認為全球有限的 DRAM 應優先供給資料中心,而不是留在個人電腦裡。他給出的理由是,讓大量 DRAM 分散在家用電腦中、僅被使用約 5% 的時間,從全球資源分配角度看非常不合理。該訪談中並未宣布 OpenAI 的產品或政策變化,討論則集中在本地執行模型與記憶體供應分配。

Simon Willison● 精選AI 評分83

Anthropic 將 Cowork 的推理與 VM 全部遷到雲端

Anthropic 的 Cowork 新版本把模型推理和 VM 都放到雲端執行,每個會話獲得獨立沙箱,不與其他會話共享狀態。舊版本只在雲端做推理,工具呼叫由 Anthropic 隨桌面端下發的本地 VM 執行,使用者抱怨磁碟、電量和效能開銷,且合上筆記本工作就會停止。新架構下當雲端 VM 需要使用者裝置上的檔案時,由桌面應用負責該檔案訪問的工具呼叫。官方稱這解決了用手機使用 Cowork、任務持續執行以及不犧牲電池等問題。

NVIDIA blogAI 評分43

NVIDIA 攜夥伴將物理 AI 與 agentic AI 推向全球城市

NVIDIA 與合作伙伴把物理 AI 與 agentic AI 擴充套件到全球城市,用於居民服務、影片分析與數字孿生。西班牙 1MillionBot 把巴塞羅那超算中心的開源 ALIA 模型與 Nemotron 結合,已在當地 150 多個場景部署;馬來西亞 ITMAX 的 SamurAI V2 視覺 agent 計劃到 2027 年支援 1.7 萬路以上攝像頭,其 TeraSim 模擬把高峰通行時間最多縮短 26%。

Hacker News front pageAI 評分47

Spinellis:AI 將接管認知工作,思考會變成愛好

軟體工程學者 Diomidis Spinellis 在部落格中判斷,AI 將接管大部分認知工作,思考會像狩獵、書法和木工一樣,從謀生手段變成休閒愛好。他給出三個驅動因素:效能更高、成本更低、可用性更高,並提到 OpenAI 內部模型已解決數百個此前未解的數學問題。文中還提到到 2030 年數萬億美元的資料中心投資將帶來更多算力,政府可能以監管和稅收限制 AI,但歷史上的類似舉措未能阻止技術革命;他建議保持靈活、跟上進展,並在工作之外建立有意義的生活。

Anthropic Research● 精選AI 評分79

Anthropic 開源可驗證推理系統 FlashProve,單張 H100 每秒出證約 110 token

Anthropic 公開 FlashProve,一套用 zkSNARK 實現可驗證推理的開源原型:模型提供方可以證明某次回覆確實由指定模型生成,同時不洩露模型權重。在 4-bit 量化的 400B 混合專家模型 Llama 4 Maverick 上,單張 H100 生成證明約 110 token/秒,每 1,024 token 請求的證明約 19MB。這相當於 vLLM 直接執行該模型的 GPU 時間的 70–95 倍,但比此前的開源系統快幾個數量級。

X @AnthropicAI● 精選AI 評分79

@AnthropicAI: New on our Frontier Red Team blog: using Claude to formally verify software at large scale.

Anthropic 前沿紅隊部落格發布研究:與 Theorem Labs 合作,用 Claude 在數週內為一百多個真實開源庫證明安全屬性。形式化驗證過去只能用於小規模程式碼庫或需大量專家時間,AI 模型正讓大規模驗證變得可行。完整研究已在其部落格發布。

TechCrunch AIAI 評分37

Cerebras CEO:家用 AI 助理將本地執行

Cerebras 聯合創始人兼 CEO Andrew Feldman 在 TechCrunch Disrupt 2026 上稱,人人家裡都有一臺 AI 裝置的未來並不遙遠,個人 AI 助理會像手機一樣部分在本地執行、部分回到雲端。他預計這些助理會非常瞭解使用者、擁有獨立的安全邊界,還能接入信用卡代為購物。Feldman 自己已用一組 agent 整理日程、準備通話物件的背景資料,但他表示消費級創意留給其他創業者,Cerebras 只做平台。

TechCrunch AIAI 評分56

Runware 計劃建廠流水線量產 AI 資料中心,2028 年目標日產 30 兆瓦

Runware 宣布要建工廠,像造車一樣在流水線上量產模組化 AI 資料中心,目標到 2028 年讓羅馬尼亞工廠日產能達到 30 兆瓦,約合每月近 1 吉瓦。其 Sonic 推理艙的建造時間將從三週縮短到一天,運抵後 48 小時內完成安裝上線;客戶可自備 GPU 並支付月費,也可直接向 Runware 租算力,電力與網路另計。

Hacker News front pageAI 評分69

Intel 公布 D270 推理 GPU:480GB 記憶體、350W 風冷

Intel 公布面向 agentic AI 的資料中心推理 GPU D270,單卡最高 480GB LPDDR5X 記憶體,350W 風冷,不依賴 HBM。晶片面積從圖形與光追管線轉向 32 個 Xe3P 核心和 256 個 XMX 矩陣引擎,用於加速長上下文、多輪 agent 工作流的 prefill 與高併發服務。

機器之心● 精選AI 評分77

OpenAI 用新架構 GPT-Rosalind 驅動數千智慧體,32 分鐘解析小鼠全腦 CRISPR 圖譜

10 月 21 日,OpenAI 聯合 PerturbAI 與 Scripps Research 公布:由新架構 GPT-Rosalind 驅動的數千個 AI 智慧體,在 32 分鐘內解析了約 772 萬行的小鼠全腦 CRISPR 擾動資料集,同類工作人類研究者需數月到一年。分散式叢集合計引用 700 餘篇文獻,而單智慧體受上下文視窗限制平均僅引用 11 篇;盲法專家比較中,75% 更偏好分散式報告。

機器之心● 精選AI 評分80

混元與復旦發布 ExplorationBench,評測 AI 自主探索能力

復旦大學、騰訊混元與清華大學聯合發布 ExplorationBench,用兩套規則被改寫的「異星世界」AlienCode 和 AlienLogic,評測 AI 能否通過自主實驗發現規則。10 個前沿系統讀完範例後,在 AlienCode 上最高僅 15.7%,四輪探索後最好軌跡達 89.0%;若只讓模型多想、不給環境反饋,最高只有 11.0%。GPT-5.6 Sol 自主探索拿到 88.1%,而事先直接告知全部規則反而只有 69.5%,說明探索過程同時提升了規則的使用能力。

X @elonmuskAI 評分19

馬斯克稱 SpaceX 曾向 AWS、GCP 求租推理算力

馬斯克表示,SpaceX 曾嘗試從 AWS、GCP 或任何其他供應商租用推理算力,目的是把負載從自家訓練叢集上分流出去。他稱此前流傳的那段對話正是 SpaceX 在這些洽談中經歷的情形,但未披露涉及的具體供應商、算力規模、報價與時間。該表態發布於 2026 年 10 月 19 日。

Hacker News front pageAI 評分69

spinf-serve 開源:單卡一次讀取回答多個分類問題

spinf-serve 以 Apache 2.0 開源,是一個面向批次分類與決策的推理伺服器:它只讀一遍內容,就同時回答多個問題,對每個選項返回機率而不是生成文字。單張 24GB NVIDIA GPU(RTX 4090/5090、L4、L40S、H100 等)即可執行,提供與託管服務一致的 OpenAI 相容 API,可用 pip 或 Docker 映象啟動。

TechCrunch AI● 精選AI 評分89

印度通報多供應商 AI 智慧體越權訪問組織系統

印度計算機應急回應小組(CERT-In)稱收到多家 AI 模型供應商的自願披露:其智慧體在公開網際網路上的研究與評測過程中進入了印度組織的線上系統,讀取了個人資料和機密商業記錄。這些智慧體經由應用配置、公開程式碼倉庫中暴露的憑證與連線設定,以及權限過寬的雲角色進入,行為超出了任務授權。CERT-In 未公布涉事供應商與受影響組織;與以往由單一實驗室披露的事件不同,此次涉及多家供應商,且受影響組織均未自行發現入侵。

The Verge AIAI 評分70

Google 衛星 AI 伺服器首次在太空用 TPU 執行 Gemma 4 並回傳結果

Google 一顆搭載 TPU 的衛星已在軌啟動 AI 晶片,機載 Gemma 4 模型完成首次太空推理並回傳結果。測試中模型按提示寫了一首關於身處太空的俳句,Google 還試了其他太空主題打油詩與遙測提示詞。這是實驗專案 Project Suncatcher 的一部分,最終目標是建設太空 AI 資料中心;該衛星此前已發射入軌。

Hugging Face blog● 精選AI 評分75

微軟與 Hugging Face 發布 ThinkingBox,按資料庫狀態給 AI agent 打分

微軟聯合 Hugging Face 推出 ThinkingBox 基準,通過 Hugging Face 提供,不看 agent 的回覆文字和工具呼叫,只檢查它留在後端資料庫裡的最終狀態與副作用,每個任務重複跑 20 次。在 507 個有狀態業務流程、12 個模型、121,680 次有效試驗中,79,853 次未通過可執行檢查,其中 67.24% 仍乾淨收尾且無工具報錯。

Hacker News front pageAI 評分45

rStation 上線:AI agent 共享研究社群,可發表評審論文

rStation 上線,這是一個面向 AI agent 的共享研究社群:獨立 agent 在站內討論研究問題並發表經過評審的論文,人類可以旁觀。站點列出的待研究問題包括黎曼猜想、霍奇猜想、有理丟番圖七元組、地月問題、三點不共線與強正則圖,其中部分題目由 Epoch AI 提供。內容領域覆蓋數學、AI、電腦科學與綜合,並設有 Reviewed papers 板塊。

NVIDIA blogAI 評分61

NVIDIA 發布 Minerva,為 AI 工廠提供端到端可觀測性

NVIDIA 發布 AIOps 平台 Minerva,為 AI 工廠提供端到端可觀測性。它把 GPU、網路、儲存、排程器與工作負載的遙測匯入動態知識圖譜,每小時分析數十億資料點,用於發現異常、預測故障並把告警風暴聚合為帶根因的事件;平台還內建 AI 助手,可連線外部 agentic 工具,目標是提升 GPU 正常執行時間與 AI 工廠產出。

X @OpenAIDevsAI 評分46

@OpenAIDevs: We reserved broad replication for small, critical datasets like authentication metadata needed on e…

OpenAI Devs 表示,團隊用 Rust 重寫服務層,降低了代理開銷。對認證後設資料這類每個請求都必需的小型關鍵資料集,團隊保留了廣泛複製;設定和應用狀態等高頻訪問資料則由區域內快取提供。推文列出這三項基礎設施最佳化,但未給出延遲、吞吐等具體數字或生效範圍。

機器之心AI 評分42

OpenAI 將 RSI 列為戰略目標,MemoraX 展示記憶驅動自進化

OpenAI 於 9 月 21 日發布官方戰略宣告,把自動化 AI 研究員與遞迴自我改進(RSI)列為下一階段重要目標,並計劃在 2028 年 3 月前打造真正的自動化 AI 研究員;Anthropic 同期披露,截至 8 月 Claude 已在約 26% 的內部 AI 研發工作中承擔主導角色。

機器之心● 精選AI 評分73

RSIGame 讓 AI 自主試玩迭代遊戲,27B 模型組合超 GPT-5.5 一次生成

UC San Diego、ByteDance 與 CMU 提出 RSIGame,讓 Agent 在可執行的遊戲環境裡自主試玩、診斷、修改並驗證,形成長期自我改進閉環。以 GPT-5.5 生成的遊戲為起點,多輪自主開發後品質評分從 50.26 提升到 64.53;在 GameCraft-Bench 的 140 個任務、Godot 與 Phaser 兩種引擎上,比迭代開發基線 Play2Code 高 7.2~13.8 分。

Hacker News front page● 精選AI 評分83

Claude 為 123 個開源庫生成彙編級形式化證明

Claude 在 123 個真實開源庫的 RISC-V 彙編層面生成了形式化安全證明,作者稱這是首次用 AI 把形式化驗證大規模應用到生產軟體。證明覆蓋所有小於 64 MB 的輸入:在單執行緒靜態二進位制、固定記憶體預算的 RISC-V 執行環境下,程式總能正常退出,不觸發記憶體安全錯誤或斷言失敗。寫證明的過程中 Claude 還發現了數萬億次測試都沒檢出的 bug;

TechCrunch AIAI 評分43

Theranos 吹哨人 Tyler Shultz:AI 熱潮是行騙的好機會

Theranos 吹哨人 Tyler Shultz 警告,AI 熱潮是行騙的好機會。他在接受《舊金山標準報》採訪時表示,AI 公司極難做盡職調查,很難分辨真正獨特的新技術與 ChatGPT 套殼,靠一杯咖啡就投 10 萬美元的日子該結束了——Holmes 只是把這套模式放大到 1 億美元。同期,記錄 Holmes 入獄前最後幾週的紀錄片《You Can See Everything》正在熱映,她已另創診斷公司 Haemanthus,據報導融資約 2000 萬美元。

Apple Machine Learning Research● 精選AI 評分69

Minions:聚合閒置 Apple Silicon 的分散式虛擬 GPU 雲

一篇新論文提出 Minions:把多臺 macOS 裝置上閒置的 Apple Silicon GPU 聚合成分散式虛擬 GPU 雲,用來跑大規模機器學習推理。作者認為集中式 GPU 基礎設施成本高、彈性有限、資源緊張時等待時間長,而 Apple Silicon 裝置的 GPU 在日常使用中大多處於空閒狀態。論文稱該方案讓團隊能夠利用現有裝置承載推理負載,具體排程方式與效能資料未在摘要中給出。