AISpot

搜尋

依意思最接近的 30 筆

r/LocalLLaMA top of the dayAI 評分42

專用推理引擎興起,放棄通用性換極致效能

近期出現一批極窄用途的推理執行時,包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性,只針對少數模型甚至單一硬體家族(如 Strix Halo)做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態,並有助於智慧的民主化與去中心化,讓現有硬體在特定配置下榨出最大輸出。

TechCrunch AIAI 評分55

Ricursive Intelligence 在 Disrupt 講用 AI 設計晶片應對算力危機

Ricursive Intelligence 兩位創始人在 TechCrunch Disrupt 上介紹,公司正開發能自行設計晶片、從每次迭代中學習並改進後續設計的 AI,目標是自動化並加速晶片設計流程。創始人 Anna Goldie 與 Azalia Mirhoseini 稱未來五年算力需求至少增長 10000 倍,與其建 10000 倍資料中心,不如讓晶片和晶圓用得更高效;

Hacker News front pageAI 評分69

Intel 公布 D270 推理 GPU:480GB 記憶體、350W 風冷

Intel 公布面向 agentic AI 的資料中心推理 GPU D270,單卡最高 480GB LPDDR5X 記憶體,350W 風冷,不依賴 HBM。晶片面積從圖形與光追管線轉向 32 個 Xe3P 核心和 256 個 XMX 矩陣引擎,用於加速長上下文、多輪 agent 工作流的 prefill 與高併發服務。

Hacker News front pageAI 評分56

Minotaur 不用語言模型與 GPU 完成演繹歸納等推理

Minotaur 這套不依賴語言模型、也不用 GPU 的 AI 架構,能完成演繹、歸納、溯因、診斷、實驗選擇與信念修正等多種推理,全部由單個網路、單個普通 CPU 核心完成,每題約 0.25 秒。在由從未看過其程式碼的人設計的盲測中,它在一道“提問會改變證人記憶”的警方訊問推理題,以及僅憑資料學習、診斷和預測系統兩項上,與當前語言模型表現持平。文章還回顧了邏輯理論家、通用問題求解器、專家系統、Prolog 與日本第五代計算機專案等前語言模型路線各自的止步之處。

機器之心● 精選AI 評分68

AlphaGo 核心作者稱 LLM 不會推理,離開 DeepMind 創業

AlphaGo 核心作者 Thore Graepel 在 MIT Technology Review 發文稱 LLM 不會推理,並已離開 Google DeepMind 創業做可審計的機器推理。他指出 AlphaGo 第 37 手是策略網路加搜尋機制的結果,而 LLM 的思維鏈仍只是預測下一個 token,缺少可檢查的認知狀態、知識與推理的分離,且常事後編造解釋。Yann LeCun 表示讚賞,認為真正推理必須涉及搜尋。

機器之心● 精選AI 評分79

蘋果與 CMU 提出 SSR:Agent 推理改為做選擇題,每輪延遲降超 90%

蘋果與卡內基梅隆大學提出 SSR 框架,讓多模態搜尋 Agent 不再逐 token 生成自由形式推理,而是從 6 條預定義推理選項中做選擇題。在 7 個多模態搜尋 benchmark 上,每輪推理延遲降低超過 90%,每題總推理延遲降低 28–54%,p95 推理延遲僅 0.07 秒;4B 模型平均成功率 61.37%,與同規模 SOTA 持平,2B 達 51.26%。推理選擇由模型自身打分完成,不需要額外分類頭,也可跳過 SFT warm start 直接接 RL 訓練。

Google Developers blog● 精選AI 評分69

Google 補全 Coral NPU 開源架構,邊緣推理 1 TOPS、功耗 10 mW

Google Research 補全了 32 位開源 Coral NPU 的 RISC-V 架構,新增 Matrix Execution Unit 後邊緣推理最高 1 TOPS,平均功耗目標 10 mW。同步釋出 v1.0 開源 IREE/MLIR 編譯器,JAX、PyTorch、TensorFlow 模型可直接編譯到 Coral NPU,不必手寫彙編,從模型到晶片共用一條開源工具鏈。

The Verge AIAI 評分67

微軟發布第三代自研 AI 晶片 Maia 300,2027 年投產

微軟發布第三代自研 AI 晶片 Maia 300,將其定位為微軟產品與服務的主要 AI 推理系統,計劃 2027 年開始投入生產部署。微軟雲業務執行副總裁 Scott Guthrie 表示,相比主流的 GPU 系統,Maia 300 每兆瓦可多輸出 40% 的 token,並更能應對最新的推理模型與 agentic 任務。該晶片的設計目標是提升雲端 AI 工作負載的成本與效率,減少對 Nvidia GPU 的依賴。

Hacker News front page● 精選AI 評分95

OpenAI 單日發布 372 項數學成果,含 Unique Games 猜想證明

OpenAI 於 10 月 6 日一次性發布 372 項數學成果,其中包括 Subhash Khot 的 Unique Games 猜想證明,部分結果附有 Lean 證書,但並非全部。截至目前似乎還沒有人類讀懂這些證明,理解它們的競賽才剛剛開始。作者妻子、複雜度理論家 Dana Moshkovitz 長期研究 UGC,她稱論文寫得極差、必須靠 AI 輔助才能閱讀,證明構造出一種全新的遞迴編碼與噪聲測試。

Latent Space● 精選AI 評分87

DeepSeek 開源推理棧 DeepInfer,單叢集日處理 155 萬億 token

DeepSeek 開源了生產推理棧 DeepInfer,它基於 vLLM 定製、採用 Apache 2.0 許可,支援最長 72 小時 prompt 快取、投機解碼與結構化輸出,相容 NVIDIA 與華為昇騰。官方稱單叢集日處理 155 萬億 token、輸入快取命中率 96%、首 token 延遲 400ms、生成速度 230 token/s,按非高峰電價折算單卡每小時收入 38 美元,毛利率超過 80%、回本週期 81 天。不過 KV 快取管理與負載均衡仍未開源;

TechCrunch AIAI 評分37

Cerebras CEO:家用 AI 助理將本地執行

Cerebras 聯合創始人兼 CEO Andrew Feldman 在 TechCrunch Disrupt 2026 上稱,人人家裡都有一臺 AI 裝置的未來並不遙遠,個人 AI 助理會像手機一樣部分在本地執行、部分回到雲端。他預計這些助理會非常瞭解使用者、擁有獨立的安全邊界,還能接入信用卡代為購物。Feldman 自己已用一組 agent 整理日程、準備通話物件的背景資料,但他表示消費級創意留給其他創業者,Cerebras 只做平台。

Hacker News front page● 精選AI 評分83

Claude 為 123 個開源庫生成彙編級形式化證明

Claude 在 123 個真實開源庫的 RISC-V 彙編層面生成了形式化安全證明,作者稱這是首次用 AI 把形式化驗證大規模應用到生產軟體。證明覆蓋所有小於 64 MB 的輸入:在單執行緒靜態二進位制、固定記憶體預算的 RISC-V 執行環境下,程式總能正常退出,不觸發記憶體安全錯誤或斷言失敗。寫證明的過程中 Claude 還發現了數萬億次測試都沒檢出的 bug;

Hacker News front pageAI 評分47

Spinellis:AI 將接管認知工作,思考會變成愛好

軟體工程學者 Diomidis Spinellis 在部落格中判斷,AI 將接管大部分認知工作,思考會像狩獵、書法和木工一樣,從謀生手段變成休閒愛好。他給出三個驅動因素:效能更高、成本更低、可用性更高,並提到 OpenAI 內部模型已解決數百個此前未解的數學問題。文中還提到到 2030 年數萬億美元的資料中心投資將帶來更多算力,政府可能以監管和稅收限制 AI,但歷史上的類似舉措未能阻止技術革命;他建議保持靈活、跟上進展,並在工作之外建立有意義的生活。

Apple Machine Learning Research● 精選AI 評分69

Minions:聚合閒置 Apple Silicon 的分散式虛擬 GPU 雲

一篇新論文提出 Minions:把多臺 macOS 裝置上閒置的 Apple Silicon GPU 聚合成分散式虛擬 GPU 雲,用來跑大規模機器學習推理。作者認為集中式 GPU 基礎設施成本高、彈性有限、資源緊張時等待時間長,而 Apple Silicon 裝置的 GPU 在日常使用中大多處於空閒狀態。論文稱該方案讓團隊能夠利用現有裝置承載推理負載,具體排程方式與效能資料未在摘要中給出。

X @deepseek_ai● 精選AI 評分60

DeepSeek 介紹 DeepInfer 推理引擎,含分散式推理與投機解碼

DeepSeek 介紹 DeepInfer 推理引擎,包含高效能核心與最佳化推理引擎、分散式推理與投機解碼、SWA Bounded Replay 和結構化輸出。官方稱未來 DeepSeek 模型的推理程式碼及後續最佳化也將在此發布。帖文未給出效能資料、支援模型或上線時間。

量子位AI 評分51

銘芯啟睿流片國際首款 1T4R 1Gb RRAM 晶片

銘芯啟睿(MemSilicon)10 月 12 日宣布完成國際首款 1T4R 結構的 1Gb RRAM 晶片「泰山一號」流片,採用 28nm CMOS 工藝。該晶片密度達 30Mb/mm²,訪問延時小於 20ns,並整合片上硬體糾錯電路,目前正在推進驗證。公司另佈局嵌入式 RRAM IP 與 RRAM+DRAM 混合存算兩條產品線,面向顯示驅動、MCU 及端側推理等場景。

Hacker News front page● 精選AI 評分94

OpenAI 發布 372 項數學成果,含 Unique Games 猜想證明

OpenAI 公布 372 項數學與理論電腦科學成果,其中包括 Subhash Khot 的 Unique Games Conjecture(UGC)證明,推薦名單有 Timothy Gowers、Edward Witten 等數學家。UGC 意味著許多最佳化問題即使只想比半正定規劃鬆弛略好地近似,也是 NP-hard。部分成果附 Lean 證書,但幾乎所有證明尚未被人類理解;

Google Developers blog● 精選AI 評分68

Google 發布 ML Drift:端側通用 GPU 推理框架

Google AI Edge 推出 ML Drift,一個面向端側 AI 與機器學習推理的高效能通用 GPU 計算框架。它把 OpenGL ES、OpenCL、Metal、WebGPU 等底層硬體與圖形計算 API 抽象掉,讓開發者無需直接處理這些介面,就能在移動端與桌面端建置即時互動式 ML 體驗,覆蓋從複雜影片特效到生成式 AI 的場景。

量子位● 精選AI 評分75

陶哲軒轉向 AI 減速派,呼籲模型公司放慢數學研究

數學家陶哲軒在 SAIR 演講中公開呼籲模型公司放慢數學研究節奏,稱 AI 無休止加速卻對後果一無所知,並稱之為 Proof Indigestion(證明消化不良):AI 只在生成解答與 Lean 驗證上狂飆,理解、評審、寫入教科書幾乎停滯。此前他與 25 位菲爾茲獎得主聯名發表公開信,批評把數學當 benchmark 刷分。OpenAI 隨後回應,宣布在普林斯頓高等研究院設立數學與人工智慧顧問小組,但宣告寫明該小組不就數學上的內部進展提供建議。

TechCrunch AIAI 評分62

General Compute 完成 1 億美元 A 輪,投後估值 8 億美元

General Compute 完成 1 億美元 A 輪融資,由 Blackbird Ventures 與 Abstract Ventures 領投,投後估值 8 億美元,而 5 月種子輪後估值僅 6000 萬美元。這家 neocloud 不買 GPU,改用 SambaNova、Cerebras、Positron 的專用推理晶片搭雲,已靠一份年經常性收入 1 億美元的客戶合同鋪路,並與 SambaNova 簽下 4 億美元晶片採購。

機器之心● 精選AI 評分80

混元與復旦發布 ExplorationBench,評測 AI 自主探索能力

復旦大學、騰訊混元與清華大學聯合發布 ExplorationBench,用兩套規則被改寫的「異星世界」AlienCode 和 AlienLogic,評測 AI 能否通過自主實驗發現規則。10 個前沿系統讀完範例後,在 AlienCode 上最高僅 15.7%,四輪探索後最好軌跡達 89.0%;若只讓模型多想、不給環境反饋,最高只有 11.0%。GPT-5.6 Sol 自主探索拿到 88.1%,而事先直接告知全部規則反而只有 69.5%,說明探索過程同時提升了規則的使用能力。

Hacker News front pageAI 評分72

Raschka 發布從零建置推理模型影片課,共 8 集 11 小時

Sebastian Raschka 發布從零建置推理模型的影片課程,共 8 集、總時長超過 11 小時。課程以小型預訓練 Qwen3 模型為起點,用 Python 和 PyTorch 親手實現評估、推理時擴充套件、強化學習與蒸餾,可配合其《Build a Reasoning Model (From Scratch)》一書按章節同步練習。前置要求是熟悉 Python 與 PyTorch;早期文字生成與評測範例在 CPU 上即可執行,後續訓練實驗建議使用 GPU。

Hacker News front page● 精選AI 評分90

Gemini 4 Argon 發布:機器人物理推理 ERQA 得 87%

Gemini 4 Argon 發布,官方稱其在物理理解、程式碼生成與視覺語義推理上有跨越式提升,在考察 3D 物理空間問題理解的 Embodied Reasoning(ERQA)基準上用純推理拿到 87%,超過所有其他前沿模型。它被定位為通用物理推理模型,覆蓋機器人控制、Real2Sim、物理理解與研究自改進四個方向,官方給出了各方向的代表性提示詞。

Google DeepMind blog● 精選AI 評分90

Gemini 4 Argon 發布:機器人物理推理 ERQA 得 87%

Gemini 4 Argon 發布,官方稱其在物理理解、程式碼生成與視覺語義推理上有跨越式提升,在考察 3D 物理空間問題理解的 Embodied Reasoning(ERQA)基準上用純推理拿到 87%,超過所有其他前沿模型。它被定位為通用物理推理模型,覆蓋機器人控制、Real2Sim、物理理解與研究自改進四個方向,官方給出了各方向的代表性提示詞。

Hacker News front pageAI 評分73

AI 設計的開源加速卡 openTPU 跑通十餘款模型

一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重,輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3,LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s;解碼受 DRAM 頻寬限制,實測跑到峰值的 82%-94%。

機器之心● 精選AI 評分77

OpenAI 用新架構 GPT-Rosalind 驅動數千智慧體,32 分鐘解析小鼠全腦 CRISPR 圖譜

10 月 21 日,OpenAI 聯合 PerturbAI 與 Scripps Research 公布:由新架構 GPT-Rosalind 驅動的數千個 AI 智慧體,在 32 分鐘內解析了約 772 萬行的小鼠全腦 CRISPR 擾動資料集,同類工作人類研究者需數月到一年。分散式叢集合計引用 700 餘篇文獻,而單智慧體受上下文視窗限制平均僅引用 11 篇;盲法專家比較中,75% 更偏好分散式報告。

X @AnthropicAI● 精選AI 評分79

@AnthropicAI: New on our Frontier Red Team blog: using Claude to formally verify software at large scale.

Anthropic 前沿紅隊部落格發布研究:與 Theorem Labs 合作,用 Claude 在數週內為一百多個真實開源庫證明安全屬性。形式化驗證過去只能用於小規模程式碼庫或需大量專家時間,AI 模型正讓大規模驗證變得可行。完整研究已在其部落格發布。

NVIDIA blogAI 評分61

NVIDIA 發布 Minerva,為 AI 工廠提供端到端可觀測性

NVIDIA 發布 AIOps 平台 Minerva,為 AI 工廠提供端到端可觀測性。它把 GPU、網路、儲存、排程器與工作負載的遙測匯入動態知識圖譜,每小時分析數十億資料點,用於發現異常、預測故障並把告警風暴聚合為帶根因的事件;平台還內建 AI 助手,可連線外部 agentic 工具,目標是提升 GPU 正常執行時間與 AI 工廠產出。

機器之心● 精選AI 評分70

調研:79% 企業 GPU 過半時間閒置,七成仍計劃擴充算力

VentureBeat Intelligence 在 2026 年 7 至 9 月的三輪調研(385 名受訪者)顯示,79% 的企業表示其 GPU 至少一半時間完全閒置,這一比例三個月穩定在 77% 至 81%。但在這批企業中,70% 仍計劃未來 12 個月引入、擴充或更換 AI 計算平台;計劃採用新平台的受訪者中有 91% 拿不出經財務部門稽核的 ROI 資料。新採購意向中 90% 投向公有云與模型 API,僅 8% 考慮擴建本地私有叢集。