依意思最接近的 24 筆
近期出現一批極窄用途的推理執行時，包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性，只針對少數模型甚至單一硬體家族（如 Strix Halo）做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態，並有助於智慧的民主化與去中心化，讓現有硬體在特定配置下榨出最大輸出。
螞蟻靈矽大模型應用平台團隊開源自動最佳化框架 AntOmniEvo，使用者只需提供可修改的檔案目錄、評估資料、打分標準和系統定義，框架就會驅動 coding agent 在「改檔案—打分」迴圈中 7×24 迭代。核心演算法 Mara Chain 讓未達標的候選帶著診斷記錄繼續修復，配合逐題 Pareto 過濾，避免過早淘汰有潛力的候選。
無問芯穹的 GPU 運算元最佳化 Agent 框架在 NVIDIA Research 的 SOL-ExecBench 上登頂 L1 基礎運算元、L2 融合運算元、Quant 量化與 FlashInfer-Bench 推理四大賽道；在全部 235 道題中拿下 88 項單題第一，超過第二名單題第一數量的 2 倍。該系統把工作區、除錯區和評測區徹底隔離，評測容器停用網路，並用 Skills、共享記憶與統一 GPU 排程讓 Agent 完成程式碼生成、評測驗證、效能分析和策略調整的閉環。
AWS 部落格發布 TorchNeuron 效能分析系列第一部分，介紹如何在 Trainium 上用 torch.profiler 抓取乾淨的 trace 並定位推理耗時。
OpenAI Devs 表示，團隊用 Rust 重寫服務層，降低了代理開銷。對認證後設資料這類每個請求都必需的小型關鍵資料集，團隊保留了廣泛複製；設定和應用狀態等高頻訪問資料則由區域內快取提供。推文列出這三項基礎設施最佳化，但未給出延遲、吞吐等具體數字或生效範圍。
llama.cpp 合併了 SYCL 後端補丁，在 Intel Arc Pro B70 上讓 -sm tensor 的 prompt eval 速度提升 19%，困惑度（PPL）沒有變化。
作者以親歷說明 AI 讓「更敢做」變得可行：藉助 SOTA 模型，他只花個位數小時就做出可用的正則引擎、ripgrep 分支和更快的 Rust 建置，而這類工作過去要一年以上。他還為常被當成 AI 生成垃圾的 pgrust（用 Rust 重寫 Postgres）辯護，指出其維護者在測試中發現了多個真實 Postgres bug，涉及數值、格式快取、pgcrypto 與 money 溢位。
Ai2 把原先基於優先順序的 GPU 排程器換成了由 GPU 時間預算、層級化公平分配和時間切片契約組成的新系統。它管理數千塊 NVIDIA H100、B200、B300，叢集規模從 88 到 1024 塊 GPU，服務約 150 名內部研究者，GPU 需求長期是供給的 2 到 3 倍。舊方案導致 GPU 蹲坑佔位、優先順序通脹（最終 100% 工作負載都標為 HIGH）以及值班工程師大量時間用於協商關閉不可搶佔任務。
無問芯穹（Infinigence AI）在輝達研究院的 GPU 運算元效能評測榜 SOL-ExecBench 上先後登頂 L1 基礎運算元、L2 融合運算元、Quant 量化與 FlashInfer-Bench 推理全部四大賽道；截至 10 月 26 日仍在 L1 與 Quant 兩賽道總分全球第一，在 235 道題中拿下 88 項單題第一，超過第二名單題第一數量的 2 倍，其中 L2 賽道的 82 道題中佔了 39 項第一。
逐際動力更新開源具身工程底座 FluxVLA Engine 第二版技術報告，新增線上強化學習後訓練，並擴大模擬評測與真機部署覆蓋。8 組模型與裝置組合經推理路徑最佳化後頻率提升 2.31–9.64 倍，如 A100 上 π 0.5 從 2.20Hz 升至 21.2Hz。SmolVLA 經線上 RL 後，LIBERO-10 與 RoboTwin Clean 成功率分別提升 10.0 與 15.4 個百分點。
Monday.com 委託 Nielsen 對七國 1700 名董事與高管調查顯示，超半數認為員工產出經 AI 打磨後難辨人機貢獻，近半數因此花更多時間審閱團隊產出。94% 仍對 AI 感到興奮，但 78% 已改變考核方式，更看重提示詞撰寫與任務分配能力；39% 用 AI 起草績效評估，46% 用 AI 輔助決策。57% 的組織在用的工具反而變多，僅 29% 稱 AI 基礎設施已集中最佳化；58% 預計一年內要監督的 AI agent 數量將超過人類員工。
Jev 發布 33 天后熱度迅速消退，這篇評論借它批評 AI 行業靠營銷話術製造期待。文章指出 Jev 本質是通用分類器，宣稱不會幻覺、更快更便宜，但輸出仍會出錯，且已有開放權重模型在部分任務上價效比更高，並可在本地執行。作者還稱其非自迴歸決策模型思路早於 Jev 一年半出現，並由此質疑行業四年來的創新增量。
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重，輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3，LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s；解碼受 DRAM 頻寬限制，實測跑到峰值的 82%-94%。
AWS 部落格發布 TorchNeuron 效能分析系列第一部分，介紹如何在 Trainium 上系統分析推理耗時。教程從零配置 torch.profiler 與 NeuronConfig/NeuronProfiler 捕獲 trace，並讀取 key_averages() 表比較 CPU 與 Neuron 裝置時間。
OpenAI 產品負責人 Tibo Sottiaux 發帖預告未來模型會更擅長刪除和簡化程式碼，並在評論中確認 Astra 6.1「coming soon」。負責 coding post-training 的研究員 Rajan Agarwal 轉發該帖，並公開徵集使用者遇到的 sloppy code 與程式碼品質問題。《華爾街日報》此前報導，Astra 6.1 原計劃 10 月發布，因內部安全測試中在權限邊界上表現不穩而被臨時叫停。
AI 工具正在加速老遊戲的反編譯與重編譯移植，也讓專注遊戲儲存的社群遭到衝擊。過去一個月，瀏覽器裡的《光環》、iPhone 上的《風之杖》、混合現實中的《任天堂明星大亂鬥》等非常規移植專案高頻走紅。愛好者用 decomps/recomps 逆向拆解遊戲，再為新平台重建；AI 提高了移植速度，卻撕裂了原本緊密的儲存社群。
llama.cpp 發布 b11554，Vulkan 後端改進了 MoE 推理中 mul_mat_id 對重複專家 id 的處理：不再逐個迴圈，而是在預計算階段統一處理。原本受限的 hoist row ids 最佳化現在預設開啟，會生成緊湊的 tile 描述列表、按需發射多個 tile，從而收緊 workgroup 數量上界，尾部執行緒可直接提前退出。
NVIDIA 發布 AIOps 平台 Minerva，為 AI 工廠提供端到端可觀測性。它把 GPU、網路、儲存、排程器與工作負載的遙測匯入動態知識圖譜，每小時分析數十億資料點，用於發現異常、預測故障並把告警風暴聚合為帶根因的事件；平台還內建 AI 助手，可連線外部 agentic 工具，目標是提升 GPU 正常執行時間與 AI 工廠產出。
逐際動力更新開源具身工程底座 FluxVLA Engine 的第二版技術報告，新增線上強化學習後訓練，並擴充套件了模擬與真機評測覆蓋。經底層推理重構後，8 組模型與裝置組合的推理頻率提升 2.31–9.64 倍，其中 A100 上 π0.5 從 2.20Hz 升至 21.2Hz。SmolVLA 經線上 RL 後，LIBERO-10 與 RoboTwin Clean 成功率分別提升 10.0 和 15.4 個百分點。
Faros 2026 年研究分析 22,000 名開發者、4,000 個團隊兩年遙測資料後發現，AI 採用度高的組織每位開發者 bug 增加 54%，PR 評審中位耗時約漲 5 倍，每 PR 事故數超 3 倍；其 Q3 報告稱部分效應有所緩解，但驗證與運維成本仍在累積。
Ai2 發布 FairStress 基準；除模型最終選擇外，它還測量模型在說服性論點下改變決定的難易程度是否因涉及群體而異。該基準包含 300 個雙候選人場景，覆蓋 29 個領域；組合身份呈現方式與對抗性字首後擴充套件為逾 1300 萬個測試用例，並另發布 5 萬條 FairStress-Core 子集，整合進 Olmo-eval。測試覆蓋 Olmo、Llama、Qwen、Gemma、Claude 與 GPT 系列，結果顯示同一論點會因受益群體不同而對模型決策產生不同影響。
一篇博文提出，寫好提示詞本質上就是程式設計：兩者都要先定清輸入與輸出來源、把任務拆到每步可驗證、預想邊界情況並說明怎樣算完成。作者認為程式設計師能用 AI 大幅提效、其他行業卻收益有限，原因在於程式設計師被編譯器訓練出精確表達和除錯習慣：結果不對時先懷疑自己的指令並改一處重跑，而非程式設計師常反覆重試同一提示詞或直接判定工具不可用。作者還修正了自己此前領域專家加 agent 最有優勢的看法：判斷對錯只是後半程，先把任務說清楚才是前提。
深圳市大數據研究院與華為聯合研發的 ASP 成為首個被 NeurIPS 接收的國產昇騰算力 RL 訓練加速系統，它通過離線長度預測、長度同質的 minibatch 劃分與負載均衡分組排序，消除多例項非同步 rollout 的 padding、skewness、sorting 三類氣泡。
llama.cpp 的 SYCL 後端為 IQ3_S/IQ3_XXS 加入持久化權重重排，在 Intel Arc Pro B70 上解碼速度最高提升 82%。權重在載入時只重排一次，MMVQ 點積改用 dp4a 與 SWAR 符號擴充套件遍歷稠密超級塊，重排感知的反量化也接入批次 prefill 的 GEMM。