依意思最接近的 9 筆
llama.cpp 建置 b11906 把 ggml-cpu 的 concat 重寫為單個按行執行的 kernel，所有型別共用一套實現，量化型別也包含在內：稠密源行只需一次 memcpy，轉置源則按元素逐個複製，元素大小在編譯期已知。行不再只沿 i2 維度切分（該維度常為 1），而是按 32 行一組分塊分給多執行緒；遇到轉置源時在外層迴圈遍歷元素，讓同一 tile 的各行讀取相鄰地址。
llama.cpp 發布 b11574 建置，重點最佳化 Hexagon NPU 後端的 CPY/CONCAT 與 gather-rows 運算元：按 DMA 描述符分塊搬執行、加入雙緩衝與迴圈展開，緩解短行場景受 DMA 延遲拖累的問題，並支援 3/4 維維度摺疊。該版本還把 mdev 下 vtcm_acquire 的同步狀態全部改為原子操作，修復多裝置配置中的隨機卡死，並新增只建置/安裝 Hexagon 後端的選項。
llama.cpp 新建置 b11981 最佳化了高通 Hexagon NPU 上轉置 CONCAT 的 DDR 頻寬利用率：把行塊大小翻倍、scratchpad 改為雙緩衝、src1 行分塊處理，並補齊 src1 的 VTCM stride 以分散 gather lane；類似的 vgather 最佳化也應用到 SSM_CONV 和 GDN。
小紅書 Dots 團隊開源稀疏注意力加速方案 DoSA，在保持原始 Top-K 選擇結果完全等價的前提下加速索引器，約 1M token 上下文下 Dots3-Note-preview、GLM-5.2、DeepSeek-V3.2 的首 token 延遲較各自 SGLang 基線分別降低約 37%、46% 和 48%。其做法是用分數上界與入選門檻下界，提前排除約 97% 不可能入選的候選，只對剩餘候選做全部索引頭的精確打分。
OpenAI Devs 表示，團隊用 Rust 重寫服務層，降低了代理開銷。對認證後設資料這類每個請求都必需的小型關鍵資料集，團隊保留了廣泛複製；設定和應用狀態等高頻訪問資料則由區域內快取提供。推文列出這三項基礎設施最佳化，但未給出延遲、吞吐等具體數字或生效範圍。
OpenAI 開發者帳號披露，其與 Azure Cosmos DB 合作改造儲存架構，全球讀取延遲中位數改善 12 倍。該架構支撐其在 40 個地理區域、面向超過 12 億使用者的毫秒級資料服務。帖文只給出了延遲改善倍數和使用者規模，未說明具體延遲數值、改造週期和涉及的產品線。
llama.cpp 合併 PR #30296，把 CPU 上的 AVX2 分塊累加器（tiled accumulators）歸併處理，用於最佳化 x86 CPU 推理，改動由 Codex 協助完成。同版本 b11688 放出多平台預編譯建置，覆蓋 macOS Apple Silicon 與 Intel、iOS、Linux、Windows、Android、openEuler，含 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端。
作者以親歷說明 AI 讓「更敢做」變得可行：藉助 SOTA 模型，他只花個位數小時就做出可用的正則引擎、ripgrep 分支和更快的 Rust 建置，而這類工作過去要一年以上。他還為常被當成 AI 生成垃圾的 pgrust（用 Rust 重寫 Postgres）辯護，指出其維護者在測試中發現了多個真實 Postgres bug，涉及數值、格式快取、pgcrypto 與 money 溢位。
近期出現一批極窄用途的推理執行時，包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性，只針對少數模型甚至單一硬體家族（如 Strix Halo）做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態，並有助於智慧的民主化與去中心化，讓現有硬體在特定配置下榨出最大輸出。