依意思最接近的 30 筆
llama.cpp 發布 b11799 建置，新增 SYCL 後端的 q8 快速反量化（#30775），可提升 Intel GPU 上量化模型的推理效率。該版本同時提供 macOS、Linux、Windows、Android 的多平台預編譯包，涵蓋 CUDA 12、CUDA 13、ROCm 10.0、Vulkan、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 版本；SYCL 建置則分為 FP32 與 FP16 兩版。
開發者 roofkid 發布 Ninfer 4080，在 RTX 4080 16GB 上以 100k 上下文執行 ISTA-DASLab-Qwen-3.8-27B-GSQ，實測最高 prefill 2720 tok/s、生成 262 tok/s。專案採用 DFlash2 推測解碼與 KV 壓縮，程式碼已在 GitHub 開源並提供 Docker 映象。
llama.cpp 發布建置 b11811，為 KleidiAI 後端新增 Q8_0 的 SVE dotprod GEMV 與 SVE i8mm GEMM 核心（#30808），即面向 Arm 平台的量化運算加速。
Hugging Face 的 yuvraj sharma 用 HuggingChat 裡的 ML Intern agent，幾天內做出 6 個公開模型，其中把 Qwen-Image 2.1 自帶的 9B 提示改寫器蒸餾成 0.8B 版本，可在 CPU 執行，輸出有效率 99.7%，token 消耗約為教師模型的四分之一。該專案含 9B 模型標註 8,797 條樣本，算力成本 16 美元。
r/LocalLLaMA 上一則帖子以「FP8/BF16 使用者看到有人跑 IQ1_S」為題引發討論。多位使用者認為量化影響取決於用途：創意寫作、閒聊可容忍 IQ1/IQ2，但編碼、複雜推理和結構化 JSON 提取會明顯崩壞。有人實測 Qwen 3.8 27b 後稱 mxfp4/nvfp4 品質接近 Q6，GSQ-RCO 在 IQ3_S、IQ3_XXS 仍可用；也有人認為 Q4_K_M 或 Q5_K_M 是多數模型的甜點區。
LittleBit 專案放出論文官方實現，可把 LLM 權重壓縮到 1.0 至 0.1 bits-per-weight，推理時保持原模型結構不變。ICML 2026 的 LittleBit-2 新增 Joint-ITQ 初始化，通過 --use_itq 開啟，只改初始化、不增加推理開銷，並支援 SmoothSign 量化感知訓練與可選殘差分解。
OpenAI 於 2026 年 9 月 23 日發布數學預印本 Integer multiplication below n log n，作者署名 OpenAI。該文歸入 OpenAI Math Release preprint 系列，PDF 託管在 GitHub 倉庫 openai/math 的 preprints 目錄下，並隨文給出 BibTeX 引用條目。標題指向整數乘法複雜度低於 n log n 的結果，但原文未附摘要、演算法細節與具體複雜度常數。
Qwen3.8-27B 已在 iPhone 18 的 Apple Neural Engine 上執行，解碼速度 15–60 tok/s；作者隨後確認 24K 上下文下 K/V 用 int8、delta net 保持 FP16，峰值可達 70 tok/s。模型基座是 PrismML 的 Bonsai-2，從 1.585 bpw 重新量化為 1.5 bpw（每 4 個權重 6 位向量量化），並加入約 2.8 bpw 的 dflash-2 草稿模型加速，代價是接受率小幅下降。
llama.cpp 發布 b12029 建置，核心改動是修復 mtmd 中 InternVL 的 CLS token 順序問題（#30886）。該版本照例提供全平台預編譯包，覆蓋 macOS Apple Silicon 與 Intel、iOS XCFramework、Linux（CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL）、Android arm64、Windows x64 與 arm64，以及 openEuler 昇騰 310…
llama.cpp 發布 b11718，恢復 FFN 路徑上的 ESIMD 核心，並將 FFN 路徑的 ESIMD 融合擴充套件到 Q8_0 量化。該改動由 Intel 的 Todd Malsbary 提交，同時移除了 test-backend-ops 中顯式引用 ESIMD 的註釋。
llama.cpp 合併 PR #29817，修復 ggml-quants 中 qkx3 量化縮放搜尋的非法舍入問題：當 imatrix 擬合的最小值塌縮為最大值或範圍極小時，會產生無窮、NaN 或越界值，傳入 nearest_int 後可能觸發 Debug 建置斷言。修復方式是在舍入前把量化級別鉗制到 [0, nmax]，並新增 q2_K、q4_K、q5_K、q4_1、q5_1 的退化 imatrix 組迴歸測試，對應 issue #29804。
llama.cpp 建置 b11582 引入 ggml-zdnn 的 Q8_0 矩陣乘法原型，由 IBM 的 Aaron Teo 提交，並同步更新了 zdnn 文件。zdnn 面向 IBM Z（s390x）平台，目前這一支援仍屬初步原型。
南京大學 PRLab 聯合美團 LongCat 等提出 IntReal，開源 10 萬條圖文交錯訓練樣本 IntReal-100K（含超 53 萬張影像）及七維度評測套件。資料從百萬級真實內容經四步篩選與潤色，僅保留約 10%。評測覆蓋文字豐富度、邏輯性、影像美學與多樣性、指令遵循、圖文一致性與主體一致性，與人工判斷一致率 83.3%。用其微調 SenseNova-U1 後文字豐富度相對提升 29.04%，再接 Flow-GRPO 強化學習可改善影像美學與圖文一致性。
llama.cpp 發布 b11969 建置，通過預計算中點加速 IQ4 量化檔案的建立（#31201），原文未給出具體的提速幅度。同版本更新了 macOS（Apple Silicon、Intel）、iOS XCFramework、Linux（含 CUDA 12、CUDA 13、ROCm 10.0、Vulkan、SYCL、OpenVINO）、Android、Windows 與 openEuler 的預編譯包；
OpenAI 宣布推出 Private Intelligence，讓企業在使用其最強模型時對自有資料擁有更強的控制權。官方表示，這些資料保護措施是與部分最大客戶緊密協作開發的，目的是讓企業能把前沿 AI 用於最敏感的業務。目前披露的細節有限，未公布具體價格、可用範圍與上線時間。
Ollama v0.40.8 加入 Recursive 的編碼模型 Flint，執行 ollama run flint 即可執行。Flint 採用 Apache 2.0 許可，是 40B 引數的混合專家（MoE）模型，每個 token 約啟用 2.5B 引數，支援推理、多輪工具呼叫與 262K token 上下文，面向跨倉庫的程式碼理解、缺陷追蹤、功能實現與補測試。
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重，輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3，LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s；解碼受 DRAM 頻寬限制，實測跑到峰值的 82%-94%。
llama.cpp 發布 0.9.0，底層 ggml 升級至 v0.29.0，新增 OCP FP8 E4M3 量化型別與對應 ftype。新運算元 flash_attn_ext_rows 讓統一 KV cache 在多序列推理中更高效，非統一 KV 的 prefill 效能也得以恢復；同時加入批次張量複製 API 和基於 NCCL 的多節點張量並行。
Ai2 於 2026 年 10 月 2 日開源 AstaBrief 8B，一個把研究問題與檢索文獻片段轉成帶引用報告的模型，基於 Qwen3-8B 訓練，採用 SFT 加 DPO 而非強化學習。它已作為 Asta 的 Fast 模式上線，與 Claude 驅動的 Thinking 模式並列，整條流水線平均每份報告 51.1 秒，比 Thinking 模式的 178.5 秒快約 3.5 倍。
macOS 27 Golden Gate 取消了關閉 Apple Intelligence 的開關，GitHub 開發者 Om Lahore 為此發布命令列工具 RemoveMacAI，可一鍵關閉該功能並釋放磁碟空間。據 GitHub 頁面，該操作完全可逆；作者稱 Apple Intelligence 模型約佔 12GB，The Verge 則指出實際佔用可能超過 30GB。此前使用者在設定中只能逐項關閉 AI 功能，模型檔案仍會留在磁碟上。
開源命令列工具 RemoveMacAI 可以刪除 macOS 上的 Apple Intelligence 模型資料並關閉相關功能，開發者稱可釋放約 12GB 磁碟空間。macOS 27 移除了此前關閉 Apple Intelligence 的單一設定開關，模型仍留在磁碟上，相關功能被拆散到不同設定面板中。開發者表示，該工具本質上做的就是舊開關的事；手動操作需找到約十幾個設定，其中若干位於螢幕時間（Screen Time）下。
llama.cpp 的 OpenCL 後端首次加入對 IQ2 系列 2-bit 量化（iq2_s、iq2_xs、iq2_xxs）的支援，並針對高通 Adreno GPU 做了專項最佳化。提交為每種量化型別補上了 AOS/SOA 矩陣向量乘、tiled matmul、noshuffle 的 GEMM/GEMV 與 dp4a 路徑，並最佳化了 Adreno 上的 decode 與窄批次場景。
上海創智學院與新序智慧開源 801-30B base 模型，並公開首份預訓練級 RSI 的完整技術報告與輕量 SFT 資料。團隊用時不到三個月從零訓練，13 項基礎評測平均分 73.13，與 Nemotron-3.5-Lightning-30B-A3B（73.07）持平，領先 Qwen3-30B-A3B（66.16）。同一份 SFT 資料微調後平均分升至 81.34；僅做 6B tokens 輕量 SFT 的版本在四項 agent 評測上平均 58.4。
Ai2 開源了 AstaBrief 8B，一個把研究問題與檢索文獻片段轉成帶引用報告的模型，基於 Qwen3-8B 訓練，已作為 Asta 的 Fast 模式上線。官方稱 Fast 模式平均 51.1 秒生成一份報告，比 Claude 驅動的 Thinking 模式 178.5 秒快約 3.5 倍。模型權重、訓練資料與範例工作流一併開放，機構可在自有基礎設施上本地生成報告。
面壁智慧的運算元生成系統 ForgeKernel 在無原始碼、無參考實現的情況下，通過直播自進化 22.5 小時，在輝達 B200 上把 DeepSeek-V4.1 的 FlashMLA Prefill 運算元做到 472 微秒，比人類手寫的 518 微秒快 9.8%。全程 42 輪迭代、留下 32 個版本，只用了 1 張 B200 和 22 個 GPU 小時，人工編寫 0 行程式碼。它此前已登頂昇騰 CANNBench 950DT、950PR、A3 三張榜單第一，並在直播結束後開源；
蘋果計劃今年 12 月隨 iOS 27.3 在中國大陸首次上線 Apple Intelligence，首批為 Genmoji、通知摘要、寫作工具和照片 Clean Up 等 2024 年就已推出的功能，新版 Siri AI 不在首發名單，古爾曼稱蘋果高管對其近期獲批並不樂觀。國行版由阿里提供語言與影像模型（通義千問、通義萬相），百度參與搜尋與 Siri 相關功能，需重新處理內容過濾與部署。
Intel 公布面向 agentic AI 的資料中心推理 GPU D270，單卡最高 480GB LPDDR5X 記憶體，350W 風冷，不依賴 HBM。晶片面積從圖形與光追管線轉向 32 個 Xe3P 核心和 256 個 XMX 矩陣引擎，用於加速長上下文、多輪 agent 工作流的 prefill 與高併發服務。
llama.cpp 的 SYCL 後端為 IQ3_S/IQ3_XXS 加入持久化權重重排，在 Intel Arc Pro B70 上解碼速度最高提升 82%。權重在載入時只重排一次，MMVQ 點積改用 dp4a 與 SWAR 符號擴充套件遍歷稠密超級塊，重排感知的反量化也接入批次 prefill 的 GEMM。
美國運通推出 Intent Intelligence Framework，在 AI agent 完成交易前捕獲並驗證使用者的購買意圖，防止模型擅自下單。框架用 Create Intent API 收集購買指令與約束（商戶、預算上限、商品偏好），使用者驗證身份並確認後生成 Intent ID 與 Proof of Intent Token，據此換取數字支付憑證，在結賬時替代真實卡號，也可用於防欺詐與爭議處理。
llama.cpp 版本號升至 0.8.0，並同步更新了全平台預編譯包。macOS 提供 Apple Silicon（arm64）與 Intel（x64）建置及 iOS XCFramework；Windows 與 Ubuntu 覆蓋 x64/arm64 的 CPU、CUDA 12.8 與 13.4、Vulkan、SYCL、ROCm 10.0、OpenVINO 等後端。