依意思最接近的 21 筆
近期出現一批極窄用途的推理執行時，包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性，只針對少數模型甚至單一硬體家族（如 Strix Halo）做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態，並有助於智慧的民主化與去中心化，讓現有硬體在特定配置下榨出最大輸出。
llama.cpp 合併 PR #30296，把 CPU 上的 AVX2 分塊累加器（tiled accumulators）歸併處理，用於最佳化 x86 CPU 推理，改動由 Codex 協助完成。同版本 b11688 放出多平台預編譯建置，覆蓋 macOS Apple Silicon 與 Intel、iOS、Linux、Windows、Android、openEuler，含 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端。
Intel 公布面向 agentic AI 的資料中心推理 GPU D270，單卡最高 480GB LPDDR5X 記憶體，350W 風冷，不依賴 HBM。晶片面積從圖形與光追管線轉向 32 個 Xe3P 核心和 256 個 XMX 矩陣引擎，用於加速長上下文、多輪 agent 工作流的 prefill 與高併發服務。
Ricursive Intelligence 兩位創始人在 TechCrunch Disrupt 上介紹，公司正開發能自行設計晶片、從每次迭代中學習並改進後續設計的 AI，目標是自動化並加速晶片設計流程。創始人 Anna Goldie 與 Azalia Mirhoseini 稱未來五年算力需求至少增長 10000 倍，與其建 10000 倍資料中心，不如讓晶片和晶圓用得更高效；
蘋果與卡內基梅隆大學提出 SSR 框架，讓多模態搜尋 Agent 不再逐 token 生成自由形式推理，而是從 6 條預定義推理選項中做選擇題。在 7 個多模態搜尋 benchmark 上，每輪推理延遲降低超過 90%，每題總推理延遲降低 28–54%，p95 推理延遲僅 0.07 秒；4B 模型平均成功率 61.37%，與同規模 SOTA 持平，2B 達 51.26%。推理選擇由模型自身打分完成，不需要額外分類頭，也可跳過 SFT warm start 直接接 RL 訓練。
OpenAI 公布 372 項數學與理論電腦科學成果，其中包括 Subhash Khot 的 Unique Games Conjecture（UGC）證明，推薦名單有 Timothy Gowers、Edward Witten 等數學家。UGC 意味著許多最佳化問題即使只想比半正定規劃鬆弛略好地近似，也是 NP-hard。部分成果附 Lean 證書，但幾乎所有證明尚未被人類理解；
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重，輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3，LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s；解碼受 DRAM 頻寬限制，實測跑到峰值的 82%-94%。
一篇新論文提出 Minions：把多臺 macOS 裝置上閒置的 Apple Silicon GPU 聚合成分散式虛擬 GPU 雲，用來跑大規模機器學習推理。作者認為集中式 GPU 基礎設施成本高、彈性有限、資源緊張時等待時間長，而 Apple Silicon 裝置的 GPU 在日常使用中大多處於空閒狀態。論文稱該方案讓團隊能夠利用現有裝置承載推理負載，具體排程方式與效能資料未在摘要中給出。
argmin.net 刊出文章，審視 OpenAI 聲稱能更快計算傅裡葉變換的數學方法。該帖在 Hacker News 上獲得 43 分、17 條評論，討論圍繞這一加速宣稱的數學依據是否成立。
llama.cpp 發布 b11554，Vulkan 後端改進了 MoE 推理中 mul_mat_id 對重複專家 id 的處理：不再逐個迴圈，而是在預計算階段統一處理。原本受限的 hoist row ids 最佳化現在預設開啟，會生成緊湊的 tile 描述列表、按需發射多個 tile，從而收緊 workgroup 數量上界，尾部執行緒可直接提前退出。
llama.cpp 發布 b11555，修復了在支援 F16C 的 AVX2 CPU 上未啟用 F16C 的問題，可改善 x86 平台的 CPU 推理表現。同步更新的預編譯包覆蓋 macOS Apple Silicon、Windows 與 Linux 的 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO，以及 Android、openEuler 等平台；
OpenAI 於 10 月 6 日一次性發布 372 項數學成果，其中包括 Subhash Khot 的 Unique Games 猜想證明，部分結果附有 Lean 證書，但並非全部。截至目前似乎還沒有人類讀懂這些證明，理解它們的競賽才剛剛開始。作者妻子、複雜度理論家 Dana Moshkovitz 長期研究 UGC，她稱論文寫得極差、必須靠 AI 輔助才能閱讀，證明構造出一種全新的遞迴編碼與噪聲測試。
清華 MADSys 實驗室與趨境科技提出 KTransformers-FineTune（KT-FT），讓 CPU 用主存中的權重直接完成 MoE 專家計算、GPU 只負責注意力，LoRA 微調吞吐達到 ZeRO-Offload 等解除安裝基線的 2.5～21.2 倍。該方案已作為執行後端接入 LlamaFactory，CPU 側用 AVX-512/AMX 指令集計算專家，支援微調與推理在同等硬體下一鍵執行。
在 Capcom Open Conference RE: 2026 上，程式設計師 Satoshi Ishida 以「REX 專案的前景與未來」為題演講，稱制作《生化危機》級別遊戲時連簡單任務都極其耗時，解決方案是把 AI 技術成功整合進開發流程。他表示為「與 AI 共同創造遊戲的未來」做準備。Capcom 此前曾稱不會使用 AI。
OpenAI 於 9 月 21 日發布官方戰略宣告，把自動化 AI 研究員與遞迴自我改進（RSI）列為下一階段重要目標，並計劃在 2028 年 3 月前打造真正的自動化 AI 研究員；Anthropic 同期披露，截至 8 月 Claude 已在約 26% 的內部 AI 研發工作中承擔主導角色。
Anthropic 的 Cowork 新版本把模型推理和 VM 都放到雲端執行，每個會話獲得獨立沙箱，不與其他會話共享狀態。舊版本只在雲端做推理，工具呼叫由 Anthropic 隨桌面端下發的本地 VM 執行，使用者抱怨磁碟、電量和效能開銷，且合上筆記本工作就會停止。新架構下當雲端 VM 需要使用者裝置上的檔案時，由桌面應用負責該檔案訪問的工具呼叫。官方稱這解決了用手機使用 Cowork、任務持續執行以及不犧牲電池等問題。
微軟與輝達在舊金山為首批 RTX Spark 筆記本舉辦發表會，這是輝達新的 AI PC 計算平台。其晶片採用 Arm 架構，而非 AMD、Intel 傳統的 x64，並搭配高效能 GPU，定位面向 AI 的 Windows 筆記本。微軟與輝達為此投入大量工作，讓 Windows 適配這批新機器。
curl 作者 Daniel Stenberg 在 Mastodon 上報告，curl 遇到兩個 ARM64 專用的編譯器最佳化 bug，分別來自 GCC 15/16 和 Rust。問題只在 ARM64 平台由編譯器最佳化觸發，訊息以連結形式發布，Hacker News 上的討論帖目前還沒有評論，尚未給出影響範圍與修復進展。
llama.cpp 合併 b11405 版本更新，為 lightning indexer 在 CUDA 與 ROCm 後端新增分塊核心，針對 4 頭場景最佳化。新核心將鍵以半精度暫存、查詢逐頭載入，每執行緒負責一個鍵對兩個 token，避免點積的跨執行緒歸約；同時把乘積改為 float 計算以防 half2 溢位，並讓每個鍵元素只擴充套件一次供所有頭使用。ROCm 上內層迴圈展開 8 次，gfx908 僅用 63 個 VGPR 無溢位，R9700 上核心提速 36 倍。
llama.cpp 在 ggml-cpu 中撤銷 x86 上 FP16→FP32 的 F16C 內建轉換，恢復使用查詢表，只保留 FP32→FP16 走 F16C。此前 #30270 把兩種標量轉換都改為 F16C，但 Clang 20.1.8 會把該 intrinsic 編譯成 vpinsrw 合併進量化點積的活躍累加暫存器，導致迴圈序列化：估計每輪 19 週期對 4 週期，實測 Q8_0/Q4_0 的 MUL_MAT_ID 核心慢 45–65%。
OpenAI 於 2026 年 10 月 6 日發布由內部前沿模型產出的多項數學結果，以 GitHub 倉庫形式公開，併為其中許多證明提供 Lean 形式化驗證。倉庫同時給出 10 份模型推理摘要、以 ChatGPT Pro 用量折算的算力估算，以及嘗試題目數量的統計，平均每個結果約消耗相當於 3 小時 ChatGPT Pro 思考的算力。