DeepSeek 介紹 DeepInfer 推理引擎,含分散式推理與投機解碼
DeepSeek 介紹 DeepInfer 推理引擎,包含高效能核心與最佳化推理引擎、分散式推理與投機解碼、SWA Bounded Replay 和結構化輸出。官方稱未來 DeepSeek 模型的推理程式碼及後續最佳化也將在此發布。帖文未給出效能資料、支援模型或上線時間。
找到 50 筆
DeepSeek 介紹 DeepInfer 推理引擎,包含高效能核心與最佳化推理引擎、分散式推理與投機解碼、SWA Bounded Replay 和結構化輸出。官方稱未來 DeepSeek 模型的推理程式碼及後續最佳化也將在此發布。帖文未給出效能資料、支援模型或上線時間。
DeepSeek 以 Apache 2.0 開源內部推理框架 DeepInfer 及配套編解碼元件 deepseek-recipe,當前支援 DeepSeek-V4.1-Flash。官方披露單叢集每天吞吐 155 萬億 token,按 API 谷價摺合每卡每小時 38 美元收入,有人以每張 B300 每小時 7 美元租金估算毛利率約 82%。
Google AI Edge 推出 ML Drift,一個面向端側 AI 與機器學習推理的高效能通用 GPU 計算框架。它把 OpenGL ES、OpenCL、Metal、WebGPU 等底層硬體與圖形計算 API 抽象掉,讓開發者無需直接處理這些介面,就能在移動端與桌面端建置即時互動式 ML 體驗,覆蓋從複雜影片特效到生成式 AI 的場景。
Intel 公布面向 agentic AI 的資料中心推理 GPU D270,單卡最高 480GB LPDDR5X 記憶體,350W 風冷,不依賴 HBM。晶片面積從圖形與光追管線轉向 32 個 Xe3P 核心和 256 個 XMX 矩陣引擎,用於加速長上下文、多輪 agent 工作流的 prefill 與高併發服務。
DeepSeek 強調開放模型、核心與推理,並邀請社群檢視程式碼、參與貢獻和共同建置。推文稱,從私有部署到公有云,團隊都會繼續與社群合作,讓大規模推理更高效。該條為系列第 4/4 條,未給出具體模型、程式碼庫、許可證或時間表。
DeepSeek 已將自研推理框架 DeepInfer 完整開源。該框架在其生產環境中支撐 DeepSeek-V4.1-Flash 的大規模推理服務,主打高吞吐與低延遲。官方表示,公開這套生產環境所用的推理元件是為了幫社群降低算力成本、減少能耗,讓 AI 更可負擔。推文未給出具體效能數字,硬體支援與部署方式需檢視開源倉庫。
DeepSeek 官方表示將與開源社群緊密合作,為 V4.1-Flash 提供推理支援,並探索更多部署方案。官方同時提出可承接 2000 塊 GPU 加儲存叢集的大規模部署需求,並附上模型與論文連結。
Minotaur 這套不依賴語言模型、也不用 GPU 的 AI 架構,能完成演繹、歸納、溯因、診斷、實驗選擇與信念修正等多種推理,全部由單個網路、單個普通 CPU 核心完成,每題約 0.25 秒。在由從未看過其程式碼的人設計的盲測中,它在一道“提問會改變證人記憶”的警方訊問推理題,以及僅憑資料學習、診斷和預測系統兩項上,與當前語言模型表現持平。文章還回顧了邏輯理論家、通用問題求解器、專家系統、Prolog 與日本第五代計算機專案等前語言模型路線各自的止步之處。
Google Research 補全了 32 位開源 Coral NPU 的 RISC-V 架構,新增 Matrix Execution Unit 後邊緣推理最高 1 TOPS,平均功耗目標 10 mW。同步釋出 v1.0 開源 IREE/MLIR 編譯器,JAX、PyTorch、TensorFlow 模型可直接編譯到 Coral NPU,不必手寫彙編,從模型到晶片共用一條開源工具鏈。
Meta Superintelligence Labs 於 2026 年 7 月 9 日發布 Muse Spark 1.1,這是 Muse Spark 的升級版多模態推理模型,面向 agentic 任務,在工具與電腦操作、程式設計和多模態理解上有明顯提升。模型支援 100 萬 token 上下文視窗,可編排多智慧體系統,並已在 Meta AI 應用和 meta.ai 的 Thinking 模式上線。
Liquid AI 發布 LFM2.5-24B-A2B:24B 引數、每 token 僅啟用 2B 的推理模型,面向端側私有 agent,權重開放,已在 Hugging Face 和官方 Playground 上線。它是 LFM2.5 系列最大也是最後一款模型,上下文從 32K 擴至 131K,詞表由 65K 翻倍到 128K,預訓練從 17T 擴到 33T token。
Elorian 發布首個模型 Glimpse,主打「視覺草稿空間」:模型在推理過程中可反覆回到原圖,裁剪區域性、抽取影片幀,或執行程式碼去測量和比較。該模型以研究預覽形式上線,提供 API,聊天介面需排隊;輸入每百萬 token 0.60 美元、輸出 3 美元。Elorian 稱其用幾百塊 GPU 訓練、規模遠小於對標的前沿模型,卻在科學圖表推理和短影片描述上超過 GPT-6 Astra。首批目標是機器人、科研、媒體等握有大量影片的公司。
LM Studio 宣布與 inco_ai 合作,在發布首日(day 0)接入其 Splash 推理引擎,用於在本地執行 Qwen3.8-27B。官方給出的實測資料是在 M5 Max 上最高可達 144 tok/s。使用者可通過 LM Studio 官方部落格的連結獲取並立即執行。
Standard Bots 完成 2 億美元 C 輪融資,估值達 10 億美元,由 General Catalyst 與 RoboStrategy 領投,客戶包括 NASA、亞馬遜與洛克希德·馬丁。其工業機械臂用於上下料、焊接與裝配,共享基座模型引數量僅數十億,靠客戶示教與微調適配;上下料用零樣本視覺模型定位零件,骨幹網路以超 10 億張影像訓練,運動與單元邏輯仍交給傳統程式設計。模型在雲端訓練、邊緣 GPU 本地推理,輸出動作塊直接送入底層控制,以應對工廠網路不穩。
微軟發布第三代自研 AI 晶片 Maia 300,將其定位為微軟產品與服務的主要 AI 推理系統,計劃 2027 年開始投入生產部署。微軟雲業務執行副總裁 Scott Guthrie 表示,相比主流的 GPU 系統,Maia 300 每兆瓦可多輸出 40% 的 token,並更能應對最新的推理模型與 agentic 任務。該晶片的設計目標是提升雲端 AI 工作負載的成本與效率,減少對 Nvidia GPU 的依賴。
EchoChat 將共情語音對話拆成情緒感知、心智理論推理與語音回覆生成三個環節,並用統一框架聯合最佳化。它在監督微調階段引入 Acoustic-Anchored Attention 強化對聲學線索的利用,在強化學習階段用 SDCA 為各環節分配針對性獎勵,並以門控機制約束後續階段的獎勵。團隊同時建置了 EchoDialogue-400K 共情對話資料集,以及真人錄製、心理學專家標註的 EchoEval 評測基準。
Anthropic 前沿紅隊發布研究,測試 AI 能否像計算機病毒一樣在不同裝置間自主複製傳播。實驗中 15 臺約 55 美元、4GB 記憶體的安卓電視盒子以流水線並行跑起 Gemma4-26B-A4B,總價約 825 美元,生成速度僅每秒 0.39 個 Token。GLM-5.2 在 8 節點模擬網路中 5 次有 4 次傳播到全部節點,但依賴外部推理伺服器與預開的免認證 ADB 埠;
OpenRouter 上線美國區域內路由(US In-Region Routing),與去年 10 月推出的歐盟路由並列:請求經 us.openrouter.ai 或 eu.openrouter.ai 提交後在該區域內解密,並只路由到區域內共享 provider 端點,若無可用端點則返回 404 而不出境。
Shopify 用 NVIDIA Nemotron 3.5 Lightning 後訓練出的 GraphQL 子智慧體已接入商家助手 Sidekick,官方稱在內部基準上準確率超過一款領先前沿模型,服務成本降低 90%、回應快 7 倍。配合 NVIDIA CCluster 的 vLLM 推理最佳化,目錄豐富、購物模擬、品類分類、推薦等五個場景效能提升 4.5 倍,推理成本最多降 12 倍。
Meta AI 發布新模型 Muse Wonder 與 Muse Wonder Full,稱其為目前最強模型,Artificial Analysis 給 Muse Wonder(Max)的評分與 GPT-6.1 Sol 相當,可能是 Meta 首個 Fable 級模型。llm-meta-ai 外掛隨之更新到 0.2,支援該模型並覆蓋 minimal、low、medium、high、xhigh、max 六檔推理等級。
Nvidia 參與的這輪 1400 萬美元 B 輪融資由 Dallas Venture Capital 領投,Accel、Shastra VC、Micromax 跟投,印度創企 Simplismart 投後估值約 1 億美元。其軟體位於 AI 模型與算力之間,自動調整推理速度、吞吐與 GPU 消耗,讓企業在既有 GPU 資源上執行模型;
X 使用者 @awnihannun 發帖指出,本地 AI 愛好者正在分享各自偏好的模型、硬體與推理框架搭配。原帖只有這一句描述,沒有列出具體模型名稱、硬體型號或框架版本,也未附連結、資料或對比結論。
arXiv 新論文提出 Hybrid Reasoning Agents(HybridAgents),在隱空間推理與文字互動之間動態切換,token 減少 35.5%–54.7%、推理快 1.8–2.6 倍、成本降至 1/2.7–1/3.7,效能平均提升 10.4%。架構上由輕量 HybridLink 完成文字與隱空間模式的切換,連續工作記憶在多輪中保留無損混合上下文,既保留工具呼叫能力,也讓隱空間思考可直接檢查。配套 HybridSFT 與 HybridRL 後訓練演算法;
Dharma-AI 團隊用名為 VocabX 的方法在不更換基座模型的前提下,把生產環境中的實測推理成本降低 77%。該方法按每個 token 的成本而非出現頻率重建詞表,已用於其葡萄牙語作文批改系統:基於 Qwen3-4B,原詞表 151,669 項,只服務單一語言與固定 JSON 輸出格式。
Ollama 0.35 新增基於 TypeSafe Jev API 的決策模型支援,通過 /v1/systemone 端點一次請求回答多個命名問題,無額外費用。首批三個模型為 Bespoke Labs 的 9B nimble、Together AI 的 4B tev1 與 0.8B tev1:0.8b,可用於工單分流、模型路由與內容稽核。官方稱 nimble 在 M5 Max 本地執行平均每次決策 91ms,後續將加入 MLX 加速與雲端模型。
Frontier Red Team 的實驗顯示,小型 AI 模型可能再過數月就能在智慧烤箱、雜牌 Android TV 盒子等商用 IoT 裝置上自我複製:這類複製體沒有集中的關停點、倍增時間為數天,還能自行摸清陌生硬體,測試中 9B 模型在 9 類硬體裡有 8 類成功跑起推理。研究把複製拆為尋找目標、獲得執行、建立推理、繼續傳播四步,30B 以下模型已能完成多數單步但端到端串聯仍會出錯,簡化評測中 GLM-5.2 及更強模型可端到端複製。
Google Antigravity SDK 現已支援在本地執行離線 agentic 工作流,可通過 LiteRT 呼叫 Gemma 4 26B A4B 等模型。該更新支援混合編排架構,由雲端模型擔任輕量規劃器,本地模型在裝置上處理程式碼審計與修補等高 token 消耗任務。SDK 還直接相容 Ollama、vLLM 等 OpenAI 相容推理伺服器,便於建置隱私優先的本地自主工具。
美國初創公司 Reflection AI 發布首個前沿開源權重模型 Beam,稱其在高階推理基準上以更低推理成本對標中國領先開源模型。Beam 是純文字混合專家模型,總引數 5010 億、啟用 230 億,預訓練用了 23.8 萬億 token,上下文視窗 100 萬 token;對比 Z.ai 的 GLM-5.2 總引數約 7440 億、啟用 400 億。
趨境科技完成超 13 億元人民幣 B 輪融資,今年內累計募資 24 億元。資金將投向高品質 AI Token 產能擴張、ATaaS 平台迭代與推理底層技術研發。該公司稱,半年內日均 Token 產量增長超百倍至萬億量級,業務收入達到去年全年近十倍,且整體業務已跨過成本線。公司團隊牽頭髮起開源專案 KTransformers,並稱其國產晶片異構推理方案在真實生產環境中的價效比已超越國際最領先算力。
Leash Bio 發布 Minos——一個讓 AI 智慧體進行可驗證科學推理的測試環境,同時公開預印本、部落格與開放資料集。其 DNA 編碼庫(DEL)多年積累的資料可提供數萬條「lab-in-the-loop」模擬,正好用作科學強化學習環境。在該沙盒中,LLM 需用自然語言推理構效關係,在 650 萬分子中、以 100 次預算找出最佳結合物。團隊自研的 Hermes 僅用自家資料訓練,在公開基準上與 Boltz 相當。
SCM(Screen Memories)是一款 macOS 本地優先的 AI 搜尋工具,可對任意資料夾中的照片和影片逐幀進行語義搜尋,無需帳號、雲端或上傳,推理全部在本機完成。它提供 Files、Scenes、OCR、Dialogue 和可選的本地 LLM 聊天五種搜尋模式,支援按鏡頭時間碼跳轉、Whisper 臺詞精確檢索以及 Tesseract 多語言文字識別。預設 CLIP 模型權重約 435MB,首次下載後完全離線;
OpenAI 於 2026 年 10 月 6 日發布由內部前沿模型產出的多項數學結果,以 GitHub 倉庫形式公開,併為其中許多證明提供 Lean 形式化驗證。倉庫同時給出 10 份模型推理摘要、以 ChatGPT Pro 用量折算的算力估算,以及嘗試題目數量的統計,平均每個結果約消耗相當於 3 小時 ChatGPT Pro 思考的算力。
Anthropic 兩位安全研究員 William Zhou 與 Daniel Freeman 發布「自主複製與適應(ARA)」安全實驗:在 8 個 GCP 節點(Android 15 redroid)組成的隔離網路裡,GLM-5.2 在 5 次測試中 4 次自主攻陷並部署全部 8 臺裝置,另 1 次拿下 7 臺。研究還顯示,Qwen3.5-9B 能在 9 種硬體中的 8 種上自行排錯並部署 Llama3.1-8B;
NVIDIA 的 Nemotron 3.5 Super VL 已在 LM Studio 上線,可直接在本地下載執行。該模型為 120B 總引數、12B 啟用引數的 MoE 架構,支援視覺輸入與推理,並針對視覺理解和工具呼叫做了訓練。官方提示本地執行約需 70GB 記憶體,模型頁面位於 lmstudio.ai。
Ollama 官方帳號表示期待 Reflection AI 的新開源模型,並稱將有更多美國模型進入 Ollama。該帖未給出模型名稱、引數規模、發布時間與具體接入方式。
Tenstorrent 以 62 億美元估值完成 15 億美元融資,估值較 2024 年底的 26 億美元翻了一倍多。本輪由 Trace Capital 與 Innovation X 領投,Cadence Ventures、Eclipse、Fidelity、SanDisk、T. Rowe Price 參投。
重慶達瓦科技的即時世界模型 Scenes AI 在 10 月 15 日的 NVIDIA 創業企業展示半程展示上獲得卓越企業獎。它不逐幀重畫畫面,而是維護一組可單獨讀寫的世界狀態、只對變化區域做稀疏擴散,從而在單張消費級 RTX 顯示卡上實現 720P、25 幀即時輸出。模型總引數 34B、每步僅啟用約 4B(約 11.8%),官方稱相較傳統影片擴散方案 GPU 消耗降低 40%—60%、推理速度提升 3—5 倍;
Block 旗下 Dessa 團隊發布全雙工語音模型 Dessa,完全用人類對話音訊從零訓練,不含文字與預訓練模型。它邊聽邊說,會在對話中插入「嗯」「懂了」等回應,原生處理情緒、語調與笑聲,推理快於即時,可在 M4 Max 或更強的 MacBook Pro 上本地執行。官方稱訓練只用了單臺 NVIDIA GB200 NVL72,並開放少量名額給 AI 安全研究者提前試用。
微軟團隊的順序診斷系統 DxO 登上《Science》封面,在 304 例 NEJM 疑難病例中診斷準確率 83.2%,參與比較的獨立執業醫生為 22.3%。DxO 以 GPT-5 為底層模型,編排多種臨床推理角色並計入檢查成本,在 325 例急診病例中準確率 80.3%、醫生為 46.8%。不設預算時 NEJM 每例檢查費約 5431 美元、高於醫生的 4725 美元;設預算後可降至約 1303 美元、準確率 79.6%。研究仍是回顧性文字病例,未驗證治療方案與患者結局,微軟下一步將與醫院合作開展前瞻性研究。
Google 在 9 月發布新一代前沿模型 Gemini 4 Argon,具備先進推理能力與 100 萬 token 輸出上限,目前通過 Fairwind Program 向受信任的網路安全防禦方分階段開放。
General Compute 完成 1 億美元 A 輪融資,由 Blackbird Ventures 與 Abstract Ventures 領投,投後估值 8 億美元,而 5 月種子輪後估值僅 6000 萬美元。這家 neocloud 不買 GPU,改用 SambaNova、Cerebras、Positron 的專用推理晶片搭雲,已靠一份年經常性收入 1 億美元的客戶合同鋪路,並與 SambaNova 簽下 4 億美元晶片採購。
有開發者轉發並評論稱,蘋果已提供名為 MLX 的工具,可在蘋果硬體上高效執行 AI 模型。該帖未給出具體模型、效能資料或版本資訊,僅以「Let's go!」表達對 MLX 的看好。
NVIDIA 與微軟在舊金山活動上發布 RTX Spark,把完整 NVIDIA AI 棧裝進 Windows 筆記本與緊湊桌上型電腦,筆記本即日預售、10 月 16 日發售,桌上型電腦 11 月上市。
DeepSeek 公布 V4.1-Flash 的 KV cache 相比上一代只需 1/4 的 HBM 和 1/8 的 SSD 儲存。官方指出快取命中費用常佔 agent 成本很大比例,壓縮快取可顯著降低這部分開銷。
llama.cpp 發布 b11812 建置,其中提交 #30957 為全部 Granite 模型記錄層輸入;該提交由 IBM 的 Gabe Goodhart 提交,位於 GraniteSpeculatorSupport 分支,並標註為全程 AI 輔助(Claude + Sonnet 5.5)。
微軟在舊金山 Tech Week 活動上公布新款 Surface Laptop Ultra 的規格與售價:兩款基礎型號分別 2600 美元、3700 美元起,選配更大記憶體與儲存後最高 5900 美元,頂配已售罄;同時發布 6000 美元起的 Surface RTX Spark Dev Box 工作站,預裝 VS Code、GitHub Copilot CLI、WSL 與 PowerShell 7。
Reddit 使用者 levoniust 在 r/LocalLLaMA 發帖,展示一張曾用於挖礦的 RTX 3090 顯示卡經清理並更換風扇後恢復使用,此前僅靠三個風扇中的兩個也能正常執行。評論區確認該卡為 24GB 視訊記憶體的 RTX 3090,並稱其為預算級本地 AI 主力卡。
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重,輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3,LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s;解碼受 DRAM 頻寬限制,實測跑到峰值的 82%-94%。
Reflection AI 的首個開放權重模型 Beam 已上線 Ollama,限時免費使用。該模型由 Ollama 與 Reflection AI 合作託管在美國,提供完整的零資料留存(ZDR),具備 100 萬 token 上下文視窗,面向軟體工程、推理與長時間執行的 agentic 任務。
Penguin Mail 發布 1.0.0,一款面向 x86_64 Linux、以 GPL-3.0-or-later 授權的免費 Rust 開源郵件客戶端。它把 Gmail、Microsoft(Outlook、Hotmail、Live、Microsoft 365)及任意 IMAP/POP3/SMTP 帳戶、日曆(CalDAV)與聯絡人(CardDAV)合併進一個本地應用,並支援通過本機 GnuPG 做 OpenPGP 與 S/MIME 簽名加密。