找到 14 筆
llama.cpp 發布 b11501 建置，主要變更是 SYCL 後端的 FWHT 最佳化（PR #29605）。該版本繼續提供 macOS/iOS、Linux、Windows、Android 與 openEuler 的預編譯包，覆蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU。
llama.cpp 合併 PR #29633，在 CUDA 後端針對小批次場景的 thin f16/bf16 mul_mat 改用 MMVF 指令，並調整了核心選擇邏輯。該改動由 NVIDIA 工程師提交，影響 Ubuntu 與 Windows 的 CUDA 12/13 建置，面向在 NVIDIA GPU 上執行本地推理的使用者。
llama.cpp 建置 b11685 合入 #29696，為 SYCL 後端在 q4_K/q5_K 權重的反量化中加入寬儲存（wide stores），以提升該後端上的推理效率。該版本照常覆蓋 macOS/iOS、Linux、Android 與 Windows，含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16 以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等建置。
微軟與輝達在舊金山為首批 RTX Spark 筆記本舉辦發表會，這是輝達新的 AI PC 計算平台。其晶片採用 Arm 架構，而非 AMD、Intel 傳統的 x64，並搭配高效能 GPU，定位面向 AI 的 Windows 筆記本。微軟與輝達為此投入大量工作，讓 Windows 適配這批新機器。
llama.cpp 建置 b11559 為 Gemma-4 啟用 E4B 的 GPU 解碼，並把該支援擴充套件到 E2B，OpenCL 後端不再只覆蓋部分型號。該版本還允許 Gemma-4 使用 DK512，最佳化 DK64 GQA8 與 DK128 GQA4 解碼，並改進 flash attention。
Intel 公布面向 agentic AI 的資料中心推理 GPU D270，單卡最高 480GB LPDDR5X 記憶體，350W 風冷，不依賴 HBM。晶片面積從圖形與光追管線轉向 32 個 Xe3P 核心和 256 個 XMX 矩陣引擎，用於加速長上下文、多輪 agent 工作流的 prefill 與高併發服務。
Nvidia 參與的這輪 1400 萬美元 B 輪融資由 Dallas Venture Capital 領投，Accel、Shastra VC、Micromax 跟投，印度創企 Simplismart 投後估值約 1 億美元。其軟體位於 AI 模型與算力之間，自動調整推理速度、吞吐與 GPU 消耗，讓企業在既有 GPU 資源上執行模型；
llama.cpp 的 OpenCL 後端新增 topk 與 lightning indexer 支援，並對兩者做了最佳化，還重構了 tiled topk kernel。這批改動隨建置 b11874 發布，覆蓋 macOS、iOS、Linux、Android、Windows 的預編譯包，含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 Adreno GPU、Hexagon NPU 版本。
llama.cpp 發布 b11489，為 Hexagon NPU 的 Q6_K 權重反量化帶來加速，做法是再增加 2 倍迴圈展開，改動由 OpenCode 協助完成。該版本繼續提供 macOS/iOS、Linux、Android、Windows 多平台預編譯包，Snapdragon 版本可分別使用 CPU、Adreno GPU 與 Hexagon NPU，Windows arm64 另有 OpenCL Adreno 建置；
llama.cpp 發布 b11901 建置，SYCL 後端的重排（reorder）臨時記憶體被限制在 32 MiB（PR #31062）。該版本照例提供各平台預編譯包，包括 macOS Apple Silicon、Linux/Windows 的 CUDA 12.8 與 CUDA 13.4、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU。
投機解碼提速並不是因為計算量更少，恰恰相反，同一序列的浮點運算總量反而上升。它快在改變了 GPU 的工作型別：逐個 token 解碼時 GPU 處於記憶體瓶頸、算力閒置，而用小草稿模型一次並行驗證多個 token，等於用閒置算力換取單條序列的深度推進。被拒絕的草稿 token 都是白做的功，高吞吐場景下反而浪費算力，因此 vLLM 提供 --speculative-disable-by-batch-size 引數按批大小整體關閉該功能；
EmbeddingGemma 2 是一個 740M 引數的開源權重多模態模型，把文字、影像、影片與音訊對映到統一向量空間，面向隱私優先的端側檢索。開發者可用 MediaPipe Tasks 跨平台整合，或通過 LiteRT 在 CPU、GPU、NPU 上做細粒度效能最佳化。模型支援邊輸入邊搜的媒體檢索、影片關鍵幀定位與零樣本意圖路由等超低延遲本地場景。
法國 AI 實驗室 Mistral 於週二發布 1 萬億引數多模態模型 Mistral Large 4（ML4），暱稱 Le Chonk。它暫不是開放權重模型，只能通過公開的 guardrail 端點訪問，Mistral 計劃三週內完成安全測試後放出權重。該模型全程用自家算力訓練，僅 4000 塊 Nvidia GPU，官方稱比中國競爭對手少兩到三倍。基準結果未公布，最佳化場景包括網路安全、金融和晶片設計；三星上月以 210 億歐元估值領投其 D 輪。
是石科技在 2026 CCF 全國高效能運算學術大會期間發布 TokenFleet 分散式排程框架，其中 TokenPilot 在 GLM5.3 調優測試中把 P95 首 Token 延遲降低 32.4%、P50 降低 71.3%。框架還包含面向跨機房容量協同的 FleetMind 和負責混合負載准入與佇列治理的 SLOMax，最佳化目標是滿足服務要求的達標輸出吞吐；另一組測算顯示達標吞吐提高約 29.4%、達標比例從約 67% 升至約 86%，官方註明屬收益測算範例。