依意思最接近的 30 筆
近期出現一批極窄用途的推理執行時，包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性，只針對少數模型甚至單一硬體家族（如 Strix Halo）做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態，並有助於智慧的民主化與去中心化，讓現有硬體在特定配置下榨出最大輸出。
DeepSeek 以 Apache 2.0 協議開源了支撐其大規模生產服務的推理框架 DeepInfer，目前僅支援 DeepSeek-V4.1-Flash 一個模型。該框架包含 FlashMLA、DeepGEMM、DeepEP 等最佳化核心，Attention DP 與 MoE EP+EPLB 並行，DSpark 投機解碼（草稿長度預設 5），以及預設開啟的非同步排程、批不變推理、確定性取樣，並支援正則、JSON schema、EBNF 結構化輸出。
DeepSeek 開源生產推理棧 DeepInfer，用於支撐 V4.1 Flash，基於 vLLM 定製，支援投機解碼、結構化輸出與分散式推理，覆蓋 NVIDIA 與華為昇騰平台。官方披露單叢集日均處理 155 萬億 token、輸入快取命中率 96%、平均首 token 400ms、解碼 230 tokens/s（編碼場景 300 tokens/s）。按離線時段 38 美元/加速器小時計，推理毛利率超 80%，回本約 81 天。
DeepSeek 介紹 DeepInfer 推理引擎，包含高效能核心與最佳化推理引擎、分散式推理與投機解碼、SWA Bounded Replay 和結構化輸出。官方稱未來 DeepSeek 模型的推理程式碼及後續最佳化也將在此發布。帖文未給出效能資料、支援模型或上線時間。
DeepSeek 已將自研推理框架 DeepInfer 完整開源。該框架在其生產環境中支撐 DeepSeek-V4.1-Flash 的大規模推理服務，主打高吞吐與低延遲。官方表示，公開這套生產環境所用的推理元件是為了幫社群降低算力成本、減少能耗，讓 AI 更可負擔。推文未給出具體效能數字，硬體支援與部署方式需檢視開源倉庫。
OpenCode 發布 v1.19.3，核心改進是支援通過模型推理選項生成推理變體，取代目錄中的變體，同時保留使用者已配置的變體覆蓋。該版本由 opencode-agent 於 2026 年 10 月 16 日發布，並被標記為 Latest，發布說明的 Core 部分僅列出這一項改動。除此之外沒有其他功能、修復或破壞性變更的說明，需要該能力的使用者升級到 v1.19.3 後在推理選項裡配置即可。
NVIDIA 加入歐盟委員會在都柏林 AI in Science Summit 上啟動的 AI in Science Enablers 計劃，將向歐洲科研界開放加速計算工具、算力與培訓。NVIDIA 已開源 250 多個模型、250 個資料集與 1400 多個開源專案，包括 Nemotron、BioNeMo、PhysicsNeMo、Earth-2 和 ALCHEMI NIM，可用於 agentic 推理與科學計算。
推理框架 v0.32.0 發布，最值得注意的是新增 meta-models/Muse-Spark-Open-816B-A42B-NVFP4 模型支援，併為 NVFP4 量化 MoE 加入全域性縮放。同版本還新增 MiniCPM5 工具呼叫解析器、Hadamard 旋轉的 2-bit Qwen3.5（prism_hadamard_qwen35）、Qwen3.5 並行 head，並支援未轉換的模型權重。
OpenAI 於 2026 年 10 月 6 日發布由內部前沿模型產出的多項數學結果，以 GitHub 倉庫形式公開，併為其中許多證明提供 Lean 形式化驗證。倉庫同時給出 10 份模型推理摘要、以 ChatGPT Pro 用量折算的算力估算，以及嘗試題目數量的統計，平均每個結果約消耗相當於 3 小時 ChatGPT Pro 思考的算力。
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重，輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3，LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s；解碼受 DRAM 頻寬限制，實測跑到峰值的 82%-94%。
AlphaGo 核心作者 Thore Graepel 在 MIT Technology Review 發文稱 LLM 不會推理，並已離開 Google DeepMind 創業做可審計的機器推理。他指出 AlphaGo 第 37 手是策略網路加搜尋機制的結果，而 LLM 的思維鏈仍只是預測下一個 token，缺少可檢查的認知狀態、知識與推理的分離，且常事後編造解釋。Yann LeCun 表示讚賞，認為真正推理必須涉及搜尋。
DeepSeek 強調開放模型、核心與推理，並邀請社群檢視程式碼、參與貢獻和共同建置。推文稱，從私有部署到公有云，團隊都會繼續與社群合作，讓大規模推理更高效。該條為系列第 4/4 條，未給出具體模型、程式碼庫、許可證或時間表。
作者發布專為 RTX5090 打造的推理引擎 MegaCapybara，聚焦 Qwen3.8 27B，解碼速度約為此前 SOTA 引擎 Ninfer 的兩倍：單任務編碼可達 500+ t/s，12 個 agent 併發、800k 上下文時可達 2000+ t/s。引擎具備 VRAM-RAM-DISC 快取管理、雙層 Loop Guard、帶後設資料的自研權重格式（可對比 BF16 顯示 KL 與 top-1% 損失）以及圖形介面，採用 MIT 許可，原始碼與權重建置器後續發布。
Google 宣布開源 TorchTPU，PyTorch 應用只需改配置、無需重寫程式碼，就能執行在 Google 的 TPU 與 Google Cloud 上。據稱 85% 的 AI 應用基於 PyTorch，而它的許多特性原本專為 Nvidia GPU 設計。前一天 Amazon 也發布 TorchNeuron 支援自家 Trainium，並向 PyTorch 主專案提交程式碼，把各項特性與 Nvidia 晶片解耦。
輝達《State of AI in Telecommunications》報告顯示，89% 受訪者認為開源模型與軟體對公司 AI 戰略重要。運營商看重開源模型的可信任、可控與可定製，用於自主網路、客服等關鍵負載，並把閉源模型留給價值最高的場景；輝達同時發布 300 億引數的 Nemotron 3 Large Telco Model（由 AdaptKey 在開源電信資料集上微調），並提供基於 NeMo 的端到端微調流程。
Google Research 補全了 32 位開源 Coral NPU 的 RISC-V 架構，新增 Matrix Execution Unit 後邊緣推理最高 1 TOPS，平均功耗目標 10 mW。同步釋出 v1.0 開源 IREE/MLIR 編譯器，JAX、PyTorch、TensorFlow 模型可直接編譯到 Coral NPU，不必手寫彙編，從模型到晶片共用一條開源工具鏈。
Google 開源 TorchTPU，讓 PyTorch 模型可直接跑在 TPU 上，PyPI 最新版本為 0.2.0。專案提供 TPU 的 ATen 核心實現、XLA 計算編譯快取，支援資料並行與張量並行分散式訓練，並接入 torch.compile() 圖模式執行，附帶 Llama、Qwen、ResNet、DLRM、minGPT、UNet 等範例。安裝要求 Python 3.11+，Marimo 互動筆記本需在 TPU VM（如 v6e 例項）上執行。
新的 C 語言推理引擎 Janas-LLM 把 MoE 權重留在磁碟、按 token 從 NVMe SSD 流式讀取專家，在 32 GB 記憶體的筆記本上跑起了 48.4 GB 的 Qwen3-Next-80B。
Meta 發布開源權重模型 Muse Spark Open：816B 總引數、42B 啟用的 MoE，Artificial Analysis 智慧指數 39，為美國開源模型最高分。
開發者 Brandon Thomas 用 Anthropic 的 Claude Opus 5.5 生成了七款開源應用，復刻 Adobe 的 Photoshop、Illustrator、Premiere、Lightroom、After Effects、InDesign 與 Acrobat Pro 的介面和工具。Artcraft 去年以「面向藝術家的可控 AI」起步，用於 AI 生成影像與影片的精確後期編輯，本週末宣布轉向這套套件並在 Reddit 公布。
ggml-openvino 後端更新到 2026.4.1，重點最佳化 Qwen3.5 MoE 推理效能，並新增推理效能分析、預設使用遠端輸出張量、磁碟快取模型直載（cache_only）等能力。在 Arc B390 上以 q4_asym64_all 重量化執行 gemma-4-26B-A4B，pp512 從 66.16 t/s 提升到 1608.73 t/s，tg128 從 25.94 提升到 26.46 t/s，困惑度基本不變。
蘋果與卡內基梅隆大學提出 SSR 框架，讓多模態搜尋 Agent 不再逐 token 生成自由形式推理，而是從 6 條預定義推理選項中做選擇題。在 7 個多模態搜尋 benchmark 上，每輪推理延遲降低超過 90%，每題總推理延遲降低 28–54%，p95 推理延遲僅 0.07 秒；4B 模型平均成功率 61.37%，與同規模 SOTA 持平，2B 達 51.26%。推理選擇由模型自身打分完成，不需要額外分類頭，也可跳過 SFT warm start 直接接 RL 訓練。
Anthropic 的 Cowork 新版本把模型推理和 VM 都放到雲端執行，每個會話獲得獨立沙箱，不與其他會話共享狀態。舊版本只在雲端做推理，工具呼叫由 Anthropic 隨桌面端下發的本地 VM 執行，使用者抱怨磁碟、電量和效能開銷，且合上筆記本工作就會停止。新架構下當雲端 VM 需要使用者裝置上的檔案時，由桌面應用負責該檔案訪問的工具呼叫。官方稱這解決了用手機使用 Cowork、任務持續執行以及不犧牲電池等問題。
10 月 16 日，範式智慧聯合睿思智聯發布一站式生產級 AI 部署平台模域（ModelSphere），面向企業免費開源，以 Apache 2.0 協議在 GitHub 上線。平台把算力管理、模型部署與執行最佳化整合為統一流程，可統一混合排程華為昇騰、天數智芯、摩爾線程、海光 DCU 等國產晶片，無需為不同晶片重寫底層程式碼。
Google AI Edge 的 Model Explorer 現在支援自訂編譯器中間表示，並提供 TOSA、VGF、PTE 等開源介面卡，面向端側機器學習。開發者可用分層圖視覺化、分屏檢視和逐節點 trace 疊加來發現匯出迴歸、驗證硬體委託，在本地定位到週期級的延遲瓶頸。
OpenAI 表示，最新一輪模型能力提升集中在 COBOL、Fortran、Visual Basic 等低資源程式語言，增強了這類軟體的建置與遷移能力。這些語言支撐著銀行、政府和企業長期依賴的系統；OpenAI 的目標是理解數十年的業務邏輯，並在保留可用部分的前提下幫助開發者完成現代化改造。OpenAI 稱會圍繞開發者與企業客戶提出的實際難題推進，並公開徵集下一批需要支援的語言與工作流。
OpenAI 發布 GPT-Rosalind，用於幫助科研人員跨科學文獻與生物資料進行推理，由科學家提供專業判斷來評估證據。符合條件的實驗室可獲最多 12 個月的 OpenAI 工具贊助訪問，其中 GPT-Rosalind 需通過可信訪問審批。通過 Rosalind Academic Plan 共享的研究資料預設不用於訓練模型。
清華團隊開源後訓練模型 VeriLoop E2，由獨立外部 Verifier 決定候選狀態能否獲得提交資格，而非依賴模型內部置信度。該模型以 Qwen 3.8-27B 為基礎，面向程式碼、數學與物理三類可外部驗證任務，並同步發布標準權重與覆蓋 BF16 至 IQ1_M 的 GGUF 量化版，其中 Q6_K 為 20.566 GiB，比 BF16 小 58.96%。
OpenAI 公開了一個倉庫，收錄其內部模型產出的 722 篇數學手稿，分為 372 個族，並附部分 Lean 形式化與 10 項結果的推理摘要。這些成果來自對開放研究問題的評估，絕大多數由同一個未發布的內部模型完成，平均每個結果消耗 3 小時 ChatGPT Pro thinking 算力，評估期間共提出約 4000 個問題。倉庫內的結果處於不同驗證階段，並非都有 Lean 形式化，未形式化的部分可能存在問題；
Google 開源了 Harness²，這是一套雙層遞迴框架，讓 Agent 在執行時自行修改腳手架、系統提示詞、工具鏈與技能庫。它在沒有標準答案時，用 Propose–Probe–Compose 對改動做行為對比篩選，並把除錯經驗寫進經驗庫，供後續任務檢索複用。實測 GLM-5 在 OpenCode 下執行 WorkBuddy-Bench，得分從 64.2 升到 75.7（+11.5 分），反超未改腳手架的 Gemini 3.5 Flash（72.4）；