AISpot

搜尋

依意思最接近的 30 筆

llama.cpp releasesAI 評分50

llama.cpp b11518 為 Metal 新增 128/96 Flash Attention 核心

llama.cpp 發布 b11518,Metal 後端加入 128 與 96 兩檔 Flash Attention 核心,並接受所有已編譯的維度組合(#30209)。該版本同時提供 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯產物,覆蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、SYCL、OpenVINO 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU;

llama.cpp releasesAI 評分45

llama.cpp b11723:Hexagon 快閃記憶體注意力支援長上下文與 SWA 模型

llama.cpp 發布 b11723 建置,Hexagon NPU 後端的 FLASH_ATTN_EXT 得到改進,可支援更長上下文與滑動視窗注意力(SWA)模型(#30731)。同一批改動還包括掩碼塊跳過以減少 DMA 取數、微調 hmx→hvx 切換閾值以提升 gemma-4 表現,以及讓 hmx 門控計入 mdev.count。

llama.cpp releases● 精選AI 評分68

llama.cpp 為 Metal 新增 F16 KV 張量 API flash attention 核心

llama.cpp 合併 PR #29570,在 Metal 後端為 F16 KV 快取加入基於張量 API 的 flash attention 核心。該核心覆蓋 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等配置,並支援 attention sinks、ALiBi 與 logit softcap。改動隨 b11362 建置發布,覆蓋 macOS Apple Silicon、iOS 及 Linux、Windows、Android 等多平台建置。

llama.cpp releases● 精選AI 評分68

llama.cpp Hexagon 的 flash_attn 改為按 KV 頭切分

llama.cpp 的 Hexagon 後端在 row-split 多核模式下把 flash_attn 從按 Q token 切分改為按 KV head 切分,讓每個核心只讀自己負責的那部分 KV cache,不再重複讀取全部 KV cache。該行為由 GGML_HEXAGON_FA_HEAD_SPLIT 控制,預設開啟;當 n_kv_heads 不能被核心數整除時回退到原 token-block 切分(如 4 核上只有 2 個 KV head 的 Gemma-4)。

llama.cpp releasesAI 評分42

llama.cpp b11466 修復 WebGPU flash_attn 的 KV 重疊檢查

llama.cpp 發布 b11466,唯一程式碼改動是修復 ggml-webgpu 後端 flash_attn 對 KV 重疊情形的 supports_op 檢查(#28205)。該版本同步更新各平台預編譯包,涵蓋 macOS/iOS、Linux、Windows、Android 與 openEuler,後端包括 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO,以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU;

llama.cpp releasesAI 評分42

llama.cpp 發布 b11424,修復 Vulkan Flash Attention 共享記憶體越界寫

llama.cpp 發布 b11424 建置版本,修復 Vulkan 後端 Flash Attention 的共享記憶體越界寫問題(#29988)。該版本照例提供 macOS/iOS、Linux、Windows、Android 的預編譯包,涵蓋 Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL、OpenCL 等後端,並附驍龍 CPU/Adreno GPU/Hexagon NPU 的安裝指引。

TechCrunch AIAI 評分62

Bluesky 擴充套件 AI 平台 Attie,可生成網站、遊戲與社交體驗

Bluesky 在 TechCrunch Disrupt 2026 上宣布擴充套件其 AI 實驗平台 Attie,讓普通使用者無需程式設計就能建置網站、測驗、遊戲、投票等互動體驗。這些作品執行在支撐 Bluesky 的 AT Protocol 上,使用者可自帶 AI 模型或使用開放權重模型,Attie 還會根據其公開 Bluesky 資料推薦可做的專案,並借 Bluesky 的分發觸達受眾。Bluesky 目前有 4700 萬註冊使用者但互動量下滑;

Hacker News front page● 精選AI 評分88

DeepSeek V4.1 Flash 開源發布:智慧指數 45、1M 上下文

DeepSeek 發布開源權重模型 V4.1 Flash 1017 (Max),採用 MIT 許可,權重已上傳 Hugging Face,支援文字與影像輸入。在 Artificial Analysis 智慧指數上它得分 45,遠高於同類開源模型中位數 19;總引數 552B、每 token 啟用 16B,上下文視窗 1M token,輸出速度約 230 token/秒。

機器之心● 精選AI 評分78

哈工大 STILL 被 NeurIPS 2026 接收,首個內容感知層內混合注意力

哈爾濱工業大學(深圳)團隊的 STILL 被 NeurIPS 2026 接收,這是首個按內容而非位置在同一注意力層內混合 Softmax 與線性注意力的框架:先用區域性滑窗內的自顯著性分數挑出重要 token 交給 Softmax,其餘交給線性注意力,並用保範數對映 NP-Map 保住預訓練範數結構。它僅用 0.04B token 完成對預訓練 LLM 的線性化,16K 上下文下視訊記憶體削減 80%、預填充加速 83%;

llama.cpp releasesAI 評分59

llama.cpp Vulkan 後端加入量化 K/V 稀疏 Flash Attention

llama.cpp 合併 PR #29639,為 Vulkan 後端加入針對量化 K/V 快取的稀疏 Flash Attention,並把稀疏 FA 的索引壓縮改為單次掃描。原實現每行 mask 用一個 workgroup、按 BLOCK_SIZE 分塊各做一次掃描,解碼時單個 workgroup 要跑 KV/1024 次受 barrier 限制的迭代,128k 單元格下開銷超過它服務的稀疏注意力本身。

r/LocalLLaMA top of the dayAI 評分68

Percepta 發布 Spotlight 架構,記憶可無限增長

Percepta 公布新架構 Spotlight,用可讀寫記憶取代注意力機制,宣稱是首個實現記憶無限增長而不增加訪問成本的架構。每個 token 只讀寫少量記憶單元,稀疏度可任意調節,不像 MoE 那樣固定啟用比例。該架構把負責計算的智慧模組與存放知識、流程和狀態的記憶分離,模型權重不隨記憶增長而改變,可自行決定載入與覆寫,從而無需重訓練即可獲得新能力。

Hacker News front page● 精選AI 評分89

DeepSeek-V4.1-Flash-1017 發布:Agent 與視覺基準提升,MIT 開源

DeepSeek 發布 DeepSeek-V4.1-Flash-1017,是 DeepSeek-V4.1-Flash 的小版本更新,權重以 MIT 許可開放。官方稱其在推理、程式設計、Agent 與視覺基準上均有提升,同時縮短任務執行時間與輸出長度:Terminal-Bench 4.0 從 31.2 升至 42.3,Apex Bench v1.1 從 64.6 升至 72.1,HLE(無工具)從 36.8 升至 42.6。

機器之心● 精選AI 評分76

螞蟻百靈開源 Ling-3.1-flash,主打長程複雜任務

螞蟻百靈於 10 月 15 日正式開源 Ling-3.1-flash,總引數約 560B、每 Token 僅啟用約 25B,上下文最高支援 1M Token,重點瞄準複雜任務與長程執行。據 Artificial Analysis 資料,其智慧指數 41,輸出約 210 Token/s,混合呼叫價格約每百萬 Token 0.19 美元;路由專家採用 MXFP4 量化後,權重從約 534GB 壓縮至 292GB,部署從 8 卡降至 4 卡。

llama.cpp releasesAI 評分42

llama.cpp 修復 SYCL 混用不同型號 GPU 的 FA 問題

llama.cpp 合併 PR #29071,修復 SYCL 後端在 Flash Attention(FA)中混用不同型號 GPU 時出現的問題。改動位於 ggml/src/ggml-sycl/ggml-sycl.cpp,提交由 Georgi Gerganov 共同署名。該修復包含在版本 b11464 中,此版本同時提供 Ubuntu x64(SYCL FP32、FP16)與 Windows x64(SYCL)等建置。

量子位● 精選AI 評分82

螞蟻百靈開源 Ling-3.1-flash,主打真實工作流任務

螞蟻百靈開源 Ling-3.1-flash,主打把真實工作流裡的活幹完,而非刷榜。模型總引數約 560B、每 Token 啟用約 25B,上下文視窗達 1M;混合精度量化後權重佔用從約 534GB 降至 292GB,部署所需 GPU 由 8 卡降至 4 卡。據 Artificial Analysis,其智慧指數 41,輸出速度約每秒 210 Token,混合呼叫價格約每百萬 Token 0.19 美元,辦公任務評測 GDPVal-AA V2.1 的 ELO 為 1673。

Hugging Face blog● 精選AI 評分75

Apertus 1.5 開源發布:新增影像音訊理解,上下文擴至 262k

Apertus 1.5 發布,在 8B 與 70B 兩個尺寸上新增影像與音訊理解、可選思考模式,上下文視窗擴至 262,144 token,為 1.0 的 4 倍。權重已於 2026 年 7 月 24 日以 Apache 2.0 許可上傳 Hugging Face,技術報告同步公開。模型由第一代繼續預訓練而來,8B 增加 4 萬億 token、70B 增加 2 萬億,總量分別達 19T 與 17T。

The Verge AIAI 評分53

Bluesky 的 Attie AI 工具現可生成遊戲與應用並分享

Bluesky 的 Attie AI 工具從生成自訂 feed 擴充套件到可製作遊戲、投票、儀表盤等小型社交應用,並能以獨立網站的形式分享給他人。使用者在 Attie 輸入提示詞即可生成,作者實測一個寶可夢紅/藍投票幾分鐘就做出來了。CEO Toni Schneider 在 TechCrunch Disrupt 採訪中把它稱為面向社群的 vibe coding。

llama.cpp releases● 精選AI 評分82

llama.cpp v0.6.0 發布:新增擴充套件 batch API 與 GLM-5.3-Flash 支援

llama.cpp 發布 v0.6.0,新增 llama_batch_ext 擴充套件 batch API,支援混合 token/embedding 輸入與 MTP、deepstack 狀態嵌入。本次加入 320B 的 GLM-5.3-Flash(GLM5-Next)文字+視覺混合模型、Clef 決策模型,以及 Qwen4Exp 的 MTP 投機解碼,官方稱在 DGX Spark 上解碼約快 1.5 倍。