llama.cpp releasesAI 評分45
llama.cpp b11720：ggml 非連續 SUM 支援 CPU/CUDA/Vulkan/WebGPU
llama.cpp 發布 b11720，ggml 的 SUM 運算新增非連續（non-contiguous）張量檢視支援，覆蓋 CPU、CUDA、Vulkan 與 WebGPU 四種後端，並補充了非連續檢視的測試用例。
搜尋
依意思最接近的 30 筆
llama.cpp releasesAI 評分41
llama.cpp b11499 發布，CUDA 的 ROLL 運算支援非連續張量
llama.cpp 發布 b11499 建置，CUDA 後端改用位元組步長實現 roll，使 ROLL 運算可以作用於非連續張量（#29547）。該版本照例提供各平台預編譯產物：macOS Apple Silicon 與 Intel、iOS XCFramework，以及 Linux、Windows、Android 的 CPU、Vulkan、CUDA 12/CUDA 13、ROCm 10.0、OpenVINO、SYCL 建置，其中 CUDA 12 與 13 分別打包 12.8、1…
llama.cpp releasesAI 評分43
llama.cpp：ggml SCALE 支援非連續檢視
llama.cpp 新建置 b11923 放寬了 ggml SCALE 運算元的輸入要求：此前 src0 必須一維連續，現在只需 dim-0 連續、允許任意行步長，與 Metal 後端一元運算元的行為一致。CPU（f32、bf16 按位元組步長定址行）、CUDA（步長感知核心，用 fastdiv 做行分解）與 Metal（新增 bf16 scale）均已適配，SYCL 仍限定連續輸入。test_scale 增加了 view 變體測試，已在 CPU、Metal、CUDA 上驗證；
llama.cpp releasesAI 評分35
llama.cpp b12124：OpenCL 後端支援非連續 sigmoid
llama.cpp 發布 b12124 建置，核心變更是 OpenCL 後端新增對非連續（non-contiguous）張量 sigmoid 的支援（#31687），由高通工程師參與提交。該版本仍是覆蓋 macOS/iOS、Linux、Android、Windows 的多平台建置，包含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及驍龍 CPU/Adreno GPU/Hexagon NPU 與 openEuler 昇騰等目標。
llama.cpp releasesAI 評分46
llama.cpp 修復 ggml CLAMP 非連續檢視定址錯誤
ggml 修復了 CLAMP 運算元在非連續檢視上的定址錯誤，涉及 CPU 與 CUDA 後端。CUDA 此前按 ggml_nelements 做平坦處理、忽略檢視 stride，CPU 則把第 j 行按 j*nb01 定址、忽略 nb02/nb03；現在兩者都改為遵循 dims 1..3 的 stride，且 CUDA 的 supports_op 要求行連續，與 Metal 一致。
量子位● 精選AI 評分71
記憶張量開源 MemT 1.0，記憶原生模型最大 288B 引數
記憶張量開源 MemT 1.0 系列記憶原生模型，最大型號 Flash 總引數 288B、啟用 17B，較小的 Nano 為 36B 總參、3B 啟用。兩者分別在選定的 Transformer 模組里加入與原注意力並行的記憶分支，把經驗編碼成可更新的內部矩陣狀態，據稱為記憶原生模型首次做到近 300B 引數規模的工程驗證。在 SWE-bench Verified 的 500 項任務各跑三次中，Nano 三次全成功率由無經驗的 54.00% 升至 62.80%；
llama.cpp releasesAI 評分43
llama.cpp 將 ggml-cpu 的 concat 重寫為單一 row kernel，覆蓋全部型別
llama.cpp 建置 b11906 把 ggml-cpu 的 concat 重寫為單個按行執行的 kernel，所有型別共用一套實現，量化型別也包含在內：稠密源行只需一次 memcpy，轉置源則按元素逐個複製，元素大小在編譯期已知。行不再只沿 i2 維度切分（該維度常為 1），而是按 32 行一組分塊分給多執行緒；遇到轉置源時在外層迴圈遍歷元素，讓同一 tile 的各行讀取相鄰地址。
機器之心● 精選AI 評分76
記憶張量開源首個記憶原生基座模型 MemT 1.0
記憶張量發布並開源 MemT 1.0，稱其為業內首個記憶原生基座模型，歷史資訊被編碼為可更新的內部記憶狀態，隨每輪對話逐 token 更新並可跨會話儲存恢復。兩個版本為 MemT-1.0-Flash（288B 引數、17B 啟用、336M 動態記憶）與 Nano（36B 引數、3B 啟用、10M 動態記憶）。
llama.cpp releasesAI 評分36
llama.cpp SYCL 後端修復 CONV_2D 錯誤結果並支援 CWHN 佈局
llama.cpp 的 SYCL 後端修復了 CONV_2D 在非連續輸入下靜默算錯的問題，並新增對 CWHN 通道序佈局的支援。此前 supports_op 聲稱支援任意佈局，但卷積 kernel 按連續的 [W, H, C, N] 索引，CWHN 等排列的輸入會被用錯誤偏移讀取；現在改為與 CUDA 後端約定一致，對輸入和卷積核的連續性做校驗。
llama.cpp releasesAI 評分50
b11477: llama: share the nextn tensor flags between models (#30097)
llama.cpp 把此前各模型各自複製的 nextn 張量檢測邏輯，統一提取為 llama_model_base 的 nextn_flags 輔助函式：探測第一個 trunk 層和第一個 NextN 層，並在未載入 MTP 時加上 TENSOR_SKIP。
Hugging Face blog● 精選AI 評分73
Ai2 發布 StateBench：前沿模型長文狀態追蹤仍失靈
Ai2 推出 StateBench，一個按四檔難度衡量語言模型在長文件中追蹤實體狀態變化的基準。結果顯示：迴圈與混合架構（如加入 Gated DeltaNet 層的 Olmo Hybrid）在直接訓練後泛化能力遠超 transformer，而 Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol/Luna 等前沿模型在輸入變長、依賴鏈變複雜時仍會失效。
llama.cpp releasesAI 評分42
llama.cpp 為 LFM3 啟用張量並行切分
llama.cpp 發布 b12027 建置，為 LFM3 模型啟用 tensor split，支援把該模型按張量切分到多張 GPU 上推理。同批建置覆蓋 macOS Apple Silicon、Windows 與 Linux 的 CUDA 12、CUDA 13、Vulkan、ROCm 10.0、OpenVINO、SYCL 等後端，並新增 Ubuntu 26.04 s390x 的 CPU 與 zDNN 版本；
NVIDIA blogAI 評分61
NVIDIA 發布 Minerva，為 AI 工廠提供端到端可觀測性
NVIDIA 發布 AIOps 平台 Minerva，為 AI 工廠提供端到端可觀測性。它把 GPU、網路、儲存、排程器與工作負載的遙測匯入動態知識圖譜，每小時分析數十億資料點，用於發現異常、預測故障並把告警風暴聚合為帶根因的事件；平台還內建 AI 助手，可連線外部 agentic 工具，目標是提升 GPU 正常執行時間與 AI 工廠產出。
llama.cpp releases● 精選AI 評分72
llama.cpp 新增 NCCL 多節點張量並行支援
llama.cpp 建置 b12079 為多節點張量並行加入 NCCL 支援：CUDA 後端實現了一套跨程序的集合通訊後端介面，並在 RPC server 可用時啟用。
llama.cpp releasesAI 評分45
llama.cpp Metal 後端新增 BF16 張量 flash attention 核心
llama.cpp 最新建置 b11645 為 Metal 後端的張量 API flash attention 核心加入了 BF16 變體，主要面向 Apple Silicon 上的 macOS 與 iOS。同一提交還把張量 FA 核心遷移到 kernels/fa_tensor.metal。
Hugging Face blog● 精選AI 評分77
TorchTPU 發布：Transformers 與 Diffusers 原生支援 TPU
Hugging Face 宣布 PyTorch 原生 TPU 後端 TorchTPU 落地，Transformers、Diffusers 與 Kernels 現在可直接在 TPU 上執行，不再需要 torch_xla 或 Optimum TPU。安裝只需一條 pip 命令；
llama.cpp releasesAI 評分41
llama.cpp 合併 GGUF 時拒絕截斷的張量資料
llama.cpp 新建置 b11880 在合併 GGUF 張量資料時，會拒絕被截斷的資料，避免合出損壞的模型檔案；對應提交為 #31044，改動位於 tools。該版本仍覆蓋 macOS Apple Silicon、iOS、Linux（CUDA 12/13、ROCm、Vulkan、SYCL、OpenVINO）、Android 與 Windows 等平台，但啟用 KleidiAI 的 macOS Apple Silicon 建置和 openEuler 建置在本期被標記為停用。
機器之心● 精選AI 評分75
NV-CoT 改用連續座標做視覺思維鏈，入選 NeurIPS Oral
南洋理工大學、中國科大、新加坡國立大學與微軟研究院提出 NV-CoT，讓多模態大模型直接輸出連續數值座標來框選影像區域，取代把邊界框寫成文字 token 的做法，該工作入選 NeurIPS 2026 Oral。方法在原有輸出頭之外加四個輕量線性層做座標迴歸，SFT 階段用迴歸損失，強化學習階段用 Laplace 分佈取樣邊界框，無需中間框標註。在 Vis-CoT-363K 驗證集上定位 IoU 從 47.3 升至 59.5；
Simon WillisonAI 評分23
班·艾佛列克談 VFX 中已用多年的機器學習
班·艾佛列克在引述中表示，視覺特效工作流多年來一直包含機器學習，他把卷積神經網路（CNN）稱為 transformer 的前身，區別在於後者能同時做更多計算。他自述能寫「很糟糕的 Python 指令碼」，並解釋張量是畫面在數值上的翻譯——批次號、幀號，以及每幀每個畫素的紅綠藍值。CNN 在張量上做邊緣檢測與特徵提取，識別出窗臺在哪裡，就能更容易地把綠幕部分摳掉並替換成別的內容。
llama.cpp releasesAI 評分28
llama.cpp 加按張量填充表，修復 Muse Spark 測試隨機失敗
llama.cpp 為測試用的隨機模型生成器引入按張量名匹配的填充表，修復了 Muse Spark 在約 6% 隨機種子下 test-llama-context 的 state_load、cp_h、cp_d 失敗。原生成器對每個張量獨立取值，破壞了範數保持殘差門 alpha²+beta²=1 的約束，使模型變成放大器；新表改為按塊只抽一次原始權重，再按轉換邏輯解出 alpha 與 beta。
llama.cpp releases● 精選AI 評分68
llama.cpp 為 Metal 新增 F16 KV 張量 API flash attention 核心
llama.cpp 合併 PR #29570，在 Metal 後端為 F16 KV 快取加入基於張量 API 的 flash attention 核心。該核心覆蓋 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等配置，並支援 attention sinks、ALiBi 與 logit softcap。改動隨 b11362 建置發布，覆蓋 macOS Apple Silicon、iOS 及 Linux、Windows、Android 等多平台建置。
Hacker News front pageAI 評分73
AI 設計的開源加速卡 openTPU 跑通十餘款模型
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重，輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3，LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s；解碼受 DRAM 頻寬限制，實測跑到峰值的 82%-94%。
機器之心● 精選AI 評分73
商湯等提出 MT Forcing，改善多輪影像編輯的畫質退化
商湯研究院、香港科技大學 MMLab 等聯合提出多輪影像編輯訓練方法 MT Forcing，用於緩解自迴歸擴散模型在連續編輯中的畫質退化與內容漂移。方法由 Single-Turn DMD 與 Teacher-Forcing Guidance 兩部分組成：前者讓學生模型按自身輸出逐輪展開、與單輪教師的輸出分佈匹配，後者用參考編輯軌跡約束跨輪的細節一致性。
Google Developers blog● 精選AI 評分78
LiteRT 發布 Tensor API，可用 C++ 手寫端側模型圖
LiteRT 發布 Tensor API，這是一個輕量 C++ 編寫層，開發者可以逐個運算元手工建置計算圖；同一份程式碼經 LiteRT 能跑在 CPU、GPU 與 NPU 上，不必為新硬體重寫。官方用 SAM 2 演示：模型全部用 C++ 編寫，在瀏覽器 WebGPU 上配合 Gemma 4 E2B 做即時多目標分割；coding agent 把它在 512×512 下的幀率從不足 10 提升到 30 以上。
llama.cpp releasesAI 評分58
b11902: sycl: add set_tensor_2d for faster tensor-split loading (#30358)
llama.cpp 的 SYCL 後端新增 set_tensor_2d：當目標行連續時，它把主機資料打包成最大 64 MiB 的塊上傳，避免逐行呼叫複製。在兩張 Arc Pro B70 上跑 gpt-oss-120b UD-Q4_K_XL，llama-perplexity 總耗時從 263–268 秒降到 114–115 秒。實現複用 pinned staging 槽位，讓 CPU 打包與裝置複製重疊，只在複用槽位時等待；
llama.cpp releasesAI 評分45
llama.cpp b11581 移除多餘的 ggml_cont 呼叫
llama.cpp 發布建置 b11581，主要改動是刪除模型實現中多餘的 ggml_cont 呼叫，官方稱所有 unary kernel 現在都已支援這種用法，CUDA unary kernel 也已跟進。同一批提交修正了 qwen3next：在用於廣播乘法的 sigmoid 前後恢復 cont_2d 張量連續性，並清理 dflash 的 cont。
llama.cpp releasesAI 評分37
llama.cpp 修復 OpenCL 非連續檢視 CLAMP 計算錯誤
llama.cpp 為 OpenCL 後端新增跨步核心 kernel_clamp_nc，修復輸入為非連續（strided）檢視時 CLAMP 讀錯元素的問題。原 clamp 核心把源與目標當作一維連續陣列索引，遇到新增的 CLAMP v=1 情形會取錯資料；現在源不連續時自動改用新的 strided 核心，與其他一元運算元的做法保持一致。
llama.cpp releasesAI 評分41
llama.cpp 修復 Metal 後端複製到非連續目標視訊記憶體越界寫入
llama.cpp 的 b12076 版本修復了 Metal 後端 cpy kernel 在目標張量第 0 維非連續時的定址錯誤：原先 kernel_cpy_t_t 用隱式元素大小步長索引目標最內層維，未使用 args.nb0，導致寫入 permute 後的檢視時地址算錯。該問題由 #31446 新增的 test-backend-ops cpy 用例（permute_dst = {1, 0, 2, 3}）發現；當目標在第 0 維連續時定址不變。
TechCrunch AI● 精選AI 評分80
Google 開源 TorchTPU，PyTorch 應用改配置即可跑在 TPU 上
Google 宣布開源 TorchTPU，PyTorch 應用只需改配置、無需重寫程式碼，就能執行在 Google 的 TPU 與 Google Cloud 上。據稱 85% 的 AI 應用基於 PyTorch，而它的許多特性原本專為 Nvidia GPU 設計。前一天 Amazon 也發布 TorchNeuron 支援自家 Trainium，並向 PyTorch 主專案提交程式碼，把各項特性與 Nvidia 晶片解耦。
TechCrunch AI● 精選AI 評分81
AWS 發布 TorchNeuron，一行配置把 PyTorch 應用遷到 Trainium
AWS 發布開發工具 TorchNeuron，用 PyTorch 寫的 AI 應用只需改一行配置即可跑在自研晶片 Trainium 上，無需重寫程式碼。AWS 稱約 85% 的 AI 應用基於 PyTorch，熟悉 PyTorch 的開發者可直接上手。亞馬遜還會把解耦 PyTorch 與特定晶片的程式碼回饋上游，推動框架硬體無關；Trainium 兼顧訓練與推理，AWS 強調價效比，語音 AI 公司 Deepgram 遷移後每美元處理音訊量提升 70%。