搜尋

llama.cpp 合併 PR #29570，在 Metal 後端為 F16 KV 快取加入基於張量 API 的 flash attention 核心。該核心覆蓋 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等配置，並支援 attention sinks、ALiBi 與 logit softcap。改動隨 b11362 建置發布，覆蓋 macOS Apple Silicon、iOS 及 Linux、Windows、Android 等多平台建置。

地端推論開源 llama.cpp Metal Flash Attention Apple Silicon 推理核心

閱讀原文

llama.cpp releases10/24 20:27AI 評分46

llama.cpp 為 Hexagon NPU 多核 flash attention 加入 KV 頭拆分

llama.cpp 新建置 b11868 給驍龍 Hexagon NPU 的多核 HMX flash attention 加入了 KV 頭分組拆分，並把原來的 FA_HEAD_SPLIT 與 FA_SPLIT 兩套開關合併為單一開關 GGML_HEXAGON_FA_SPLIT。設為 0 時只做 token 拆分；

地端推論開源 llama.cpp Hexagon NPU Flash Attention KV cache 多核

閱讀原文

llama.cpp releases10/19 01:54AI 評分42

llama.cpp b11722 為 Hexagon NPU 加入多流 flash attention

llama.cpp 發布 b11722，Hexagon 後端新增多流 flash attention（multistream FA）支援，驍龍平台的 Hexagon NPU 推理可用上這一加速路徑。

地端推論開源 llama.cpp Hexagon NPU multistream FA Snapdragon 本地推理

閱讀原文

llama.cpp releases10/21 10:13AI 評分41

llama.cpp b11788 修復 SYCL Flash Attention 崩潰

llama.cpp 發布建置 b11788，修復 SYCL 後端在 Flash Attention 下因 Query 頭維度不匹配（neq0 ≠ HSK，D=2048/4096）觸發的崩潰（#30286）。其餘是常規預編譯包的更新，覆蓋 macOS Apple Silicon、Linux 與 Windows 的 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO 和 SYCL；

地端推論開源 llama.cpp SYCL Flash Attention 崩潰修復版本更新

閱讀原文

llama.cpp releases10/9 09:29AI 評分50

llama.cpp b11518 為 Metal 新增 128/96 Flash Attention 核心

llama.cpp 發布 b11518，Metal 後端加入 128 與 96 兩檔 Flash Attention 核心，並接受所有已編譯的維度組合（#30209）。該版本同時提供 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯產物，覆蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、SYCL、OpenVINO 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU；

地端推論開源 llama.cpp Metal Flash Attention 建置發布

閱讀原文

llama.cpp releases10/5 14:50AI 評分42

llama.cpp 發布 b11424，修復 Vulkan Flash Attention 共享記憶體越界寫

llama.cpp 發布 b11424 建置版本，修復 Vulkan 後端 Flash Attention 的共享記憶體越界寫問題（#29988）。該版本照例提供 macOS/iOS、Linux、Windows、Android 的預編譯包，涵蓋 Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL、OpenCL 等後端，並附驍龍 CPU/Adreno GPU/Hexagon NPU 的安裝指引。

地端推論開源 llama.cpp Vulkan Flash Attention 記憶體越界版本更新

閱讀原文

llama.cpp releases● 精選10/29 07:14AI 評分66

llama.cpp SYCL 新增量化 KV 快取的 DPAS flash attention 核心

llama.cpp 的 SYCL 後端新增 DPAS flash attention 核心，解碼與小批次（1 到 31 個 query token）可直接在 q4_0、q8_0 的 KV 塊上執行，不必做標量反量化或每次呼叫都把整個快取轉成 f16。Q.K 在 XMX 上使用 s8×s4 與 s8×s8 DPAS，V.P 仍保持 f16；覆蓋 head size 64 到 512、最多 32 的 GQA 與 attention sinks，prompt 階段仍走原有核心。

地端推論開源 llama.cpp SYCL DPAS Flash Attention 量化 KV Cache

閱讀原文

llama.cpp releases10/20 21:29AI 評分45

llama.cpp 為 IBM Z 的 ggml-zdnn 後端加入 flash attention

llama.cpp 建置 b11759 為 ggml-zdnn 後端新增 flash attention 運算元（fattn），並去掉原有的 scratch slots，改用 scratch buffer pool 統一管理臨時緩衝，文件也補上了關於 fattn 的說明。該後端面向 IBM Z 的 s390x 平台，本次改動隻影響使用 zDNN 加速的建置。

地端推論開源 llama.cpp ggml-zdnn flash attention IBM Z 後端最佳化

閱讀原文

llama.cpp releases10/5 08:37AI 評分59

llama.cpp Vulkan 後端加入量化 K/V 稀疏 Flash Attention

llama.cpp 合併 PR #29639，為 Vulkan 後端加入針對量化 K/V 快取的稀疏 Flash Attention，並把稀疏 FA 的索引壓縮改為單次掃描。原實現每行 mask 用一個 workgroup、按 BLOCK_SIZE 分塊各做一次掃描，解碼時單個 workgroup 要跑 KV/1024 次受 barrier 限制的迭代，128k 單元格下開銷超過它服務的稀疏注意力本身。

地端推論開源 Vulkan flash attention 量化稀疏注意力 llama.cpp

閱讀原文

Hacker News front page11/3 15:48AI 評分62

互動式筆記網站講解 RLHF、LoRA 與 LLM 評測

一份互動式筆記上線，讀者通過修改輸入，就能觀察 Attention、強化學習、RLHF 與 LoRA 這些概念的變化。評測部分從「82% 是否真的比 80% 好」講起，涵蓋 exact match 與 F1、precision/recall、nDCG@k、pass@k、LLM as judge、成對偏好與 Elo、人工一致性與 kappa，並延伸到 RAG 評測、agent 評測、線上 A/B 測試以及資料汙染與 Goodhart 陷阱。

研究 RLHF LLM Evals LoRA Attention 互動式教程

閱讀原文

X @OpenAIDevs10/9 02:44AI 評分10

@OpenAIDevs: The attention to detail is a little concerning.

OpenAI 官方開發者帳號 @OpenAIDevs 於 2026 年 10 月 9 日發推稱「對細節的關注有點令人擔憂」。推文正文只有這一句，未說明針對的是哪個產品、更新或事件，也沒有給出後續解釋，因此尚不清楚這條批評具體指向什麼。

開發工具 OpenAI 社群討論

閱讀原文

Google Developers blog● 精選10/2 21:21AI 評分68

TPU 上影片擴散模型注意力最佳化提速 1.69 倍

開發者將 Sparse VideoGen（SVG）用於高解析度影片擴散模型，把注意力頭動態路由到結構化空間或時間稀疏掩碼，以緩解自注意力的二次延遲瓶頸。為在 TPU 上把演算法稀疏轉化為實際加速，團隊最佳化 Splash Attention 核心：跳過空記憶體塊、僅在邊界塊做精確座標掩碼、將 token 記憶體佈局改為時間優先以連續訪問。這些最佳化與硬體塊執行對齊後，1440p 影片生成端到端推理最高提速 1.69 倍。

研究地端推論 Sparse VideoGen TPU Splash Attention 影片擴散推理加速

閱讀原文

Hacker News front page10/25 23:52AI 評分54

arXiv 論文提出無注意力架構 Causal Grassmann 層

一篇 arXiv 論文提出不依賴自注意力的 Causal Grassmann 層：先用 Plücker 座標把區域性詞對編碼為 Grassmann 流形上的二維子空間，再門控融合回隱藏狀態。在 Wikitext-2 上，1300 萬至 1800 萬引數的純 Grassmann 模型驗證困惑度與同規模 Transformer 相差約 10% 至 15%；

研究 arXiv Transformer 注意力機制 Grassmann 流形語言模型

閱讀原文

Hacker News front page10/14 03:10AI 評分60

Quanta 專欄回顧注意力機制起源與影響

Quanta 雜誌專欄回顧注意力機制的由來與影響：2014 年，Dzmitry Bahdanau 與 Yoshua Bengio、Kyunghyun Cho 為提升英法翻譯提出注意力，讓神經網路處理長句不再受固定記憶瓶頸限制。它讓網路動態判斷源句中哪些詞最影響下一個輸出詞。2017 年 Google 團隊發表《Attention Is All You Need》，提出只靠注意力的 transformer，以更少算力取得當時最佳翻譯，該論文已被引用超過 25 萬次。

研究注意力機制 Transformer 機器翻譯大語言模型 AI 歷史

閱讀原文

llama.cpp releases10/19 11:27AI 評分46

llama.cpp b11729 為 Qwen3 加入雙向注意力支援

llama.cpp 發布 b11729，為 Qwen3 加入雙向注意力（bidirectional attention）與 dense_2 輸出投影支援，模型轉換指令碼 conversion/base.py 會讀取 use_bidirectional_attention 欄位。

地端推論開源 Qwen3 llama.cpp GGUF 轉換雙向注意力版本更新

閱讀原文

X @claudeai10/16 19:29AI 評分24

Claude 官方展示用 Opus 5.5 做的野火分析原型

Claude 官方帳號列出近幾週六個值得關注的專案，其中一項是用 Opus 5.5 建置的野火分析原型，可把火勢隨時間的蔓延過程對映出來，並追蹤熱點區域。官方稱這是最近幾週引起關注的六個專案之一，其餘專案未在正文中展開細節。

產品與方案 Claude Opus 5.5 應用案例

閱讀原文

X @OpenAIDevs10/16 21:50AI 評分32

OpenAI 公開內部工程師用 Codex 清理程式碼維護積壓

OpenAI 開發者帳號介紹了內部工程師如何使用 Codex：在自家程式碼庫中檢索、定位需要關注的部分，並逐步消化積壓的維護任務。推文只給出這一概述，未披露具體工作流程、所用模型版本或效率資料。

開發工具 Codex 程式碼庫維護內部工程實踐 AI 程式設計

閱讀原文

llama.cpp releases10/18 11:14AI 評分37

llama.cpp 發布 b11719，調整 CUDA fattn 越界檢查

llama.cpp 發布建置 b11719，本次唯一一項程式碼改動來自 PR #30572：ggml-cuda 的 fattn（flash attention）在 k_VKQ_max 等於 k_VKQ_max - nbatch_fa 時不再做越界檢查，只涉及 CUDA 後端的 flash attention 計算路徑。

地端推論開源 CUDA FlashAttention 本地推理跨平台建置 ggml

閱讀原文

llama.cpp releases10/7 11:11AI 評分42

llama.cpp 修復 SYCL 混用不同型號 GPU 的 FA 問題

llama.cpp 合併 PR #29071，修復 SYCL 後端在 Flash Attention（FA）中混用不同型號 GPU 時出現的問題。改動位於 ggml/src/ggml-sycl/ggml-sycl.cpp，提交由 Georgi Gerganov 共同署名。該修復包含在版本 b11464 中，此版本同時提供 Ubuntu x64（SYCL FP32、FP16）與 Windows x64（SYCL）等建置。

地端推論開源 llama.cpp SYCL Flash Attention GPU 推理版本更新

閱讀原文

llama.cpp releases11/2 22:44AI 評分52

llama.cpp 多序列統一 KV 快取改用 kv_rows 切片

llama.cpp 合併 #29510，多序列共享的統一 KV 快取改用 kv_rows 切片，取代稠密的 KQ mask，以提升 flash attention 的效率。每個序列維護一份 cell 點陣圖，按置位順序生成 cell 列表，並在 seq_pos_inc/dec 時增量更新，刪除 cell 時不必重建；被 SWA 對所有 token 隱藏的 cell 會從列表中剔除。

地端推論開源 llama.cpp KV cache flash attention 多序列推理本地推理

1 個來源 · 2 則報導閱讀原文

Hacker News front page10/5 22:30AI 評分71

Aria 微調後可按指定爵士鋼琴家風格續寫

研究者在鋼琴 MIDI 上預訓練的 transformer Aria 上做微調，用 12 位爵士鋼琴家的獨奏資料並插入門控交叉注意力層，讓模型按指定鋼琴家風格續寫。用鋼琴家分類器沿生成片段滑動判定，帶條件的續寫有 70% 被認成目標鋼琴家，不帶條件只有 37%，隨機為 8%，而困惑度幾乎分不出兩者（6.82 對 6.96）。僅在生成音樂上訓練的第二個分類器識別真實錄音的準確率達 95%，模型還可標出真實演奏中風格最集中的段落。

研究音樂生成 MIDI 風格遷移 Transformer 跨注意力

閱讀原文

llama.cpp releases11/4 22:17AI 評分45

llama.cpp OpenCL 後端提升解碼效能，擴充套件 FA 支援

llama.cpp 新建置 b12118 針對 OpenCL 後端做了多項最佳化，提升解碼效能。其中，q4_K gate up + GLU 改用更多 workgroup 來並行；Flash Attention 新增對 GQA 2 和 6（head size 256）、GQA 16（head size 128、512）、GQA 2（head size 512）等組合的處理。相關提交由高通工程師完成，改動主要面向 Adreno GPU 與驍龍平台上的本地推理。

地端推論開源 OpenCL Flash Attention GQA q4_K 推理效能

閱讀原文

llama.cpp releases● 精選10/7 10:43AI 評分68

llama.cpp SYCL 為 GLM MLA 預填充接入 MKL，pp8192 提速 2.99 倍

llama.cpp 的 SYCL 後端放行了 GLM-4.7 Flash 的 MLA 形狀走 MKL flash attention，此前該形狀因 K/V 寬度不一致、head dim 上限 512 被排程器拒絕，預填充只能回退到更慢的 TILE kernel。在 Intel Arc Pro B70 上，pp8192 從 432.80 提升到 1292.29 tok/s（2.99 倍，+198.6%），tg256 在噪聲範圍內基本不變（45.67 對 45.65）。

地端推論開源 llama.cpp GLM SYCL Flash Attention Intel Arc

閱讀原文

llama.cpp releases10/17 13:07AI 評分26

llama.cpp 發布 b11711：修復 CUDA fattn 編譯警告

llama.cpp 發布建置 b11711，唯一程式碼改動是修復 CUDA flash attention 向量分發中觸發的 -Wtautological-compare 編譯警告（#30519），提交者為 Adrien Gallouët。

地端推論開源 CUDA 本地推理編譯修復版本發布 llama.cpp

閱讀原文

機器之心10/21 05:15AI 評分41

17 歲陳廣宇離開 Kimi，加入 Jeff Dean 新公司 Discovery Loop

17 歲 AI 研究者陳廣宇已離開月之暗面，加入 Jeff Dean 等四位前 Google 核心研究員 8 月創辦的 Discovery Loop。他在 Kimi 期間參與 Kimi Delta Attention 計算核心最佳化，並與張宇、蘇劍林以共同第一作者發表《Attention Residuals》，該技術成為 2.8 萬億引數 Kimi K3 的核心架構之一。Discovery Loop 計劃讓 AI 自動提出假設、設計並執行實驗、分析結果形成迭代閉環，先做機器學習研究自動化再拓展到其他科學領域；

商業研究人事變動 Kimi Jeff Dean AI 研究自動化人才流動

閱讀原文

llama.cpp releases11/6 02:26AI 評分41

llama.cpp b12142 修復 Vulkan FA 反量化的緩衝區大小檢查

llama.cpp 發布建置 b12142，修好了 Vulkan 後端 Flash Attention 反量化路徑中針對 K+V 合併 f16 scratch 緩衝區大小的檢查，並關閉 issue #30048，該改動由 Claude 協助完成。

地端推論開源 llama.cpp Vulkan 反量化建置版本

閱讀原文

llama.cpp releases10/11 19:17AI 評分45

llama.cpp b11559：OpenCL 後端為 Gemma-4 E2B/E4B 開啟 GPU 解碼

llama.cpp 建置 b11559 為 Gemma-4 啟用 E4B 的 GPU 解碼，並把該支援擴充套件到 E2B，OpenCL 後端不再只覆蓋部分型號。該版本還允許 Gemma-4 使用 DK512，最佳化 DK64 GQA8 與 DK128 GQA4 解碼，並改進 flash attention。

地端推論開源 llama.cpp OpenCL Gemma-4 GPU 推理 Qualcomm

閱讀原文

llama.cpp releases● 精選10/27 17:47AI 評分60

llama.cpp 新增 LiquidAI LFM3-Audio 與 LFM3-Omni 2B 支援

llama.cpp 已合併對 LiquidAI LFM3-Audio-2B 與 LFM3-Omni-2B 兩個音訊模型的支援。轉換指令碼改為按模型自帶的 config.json 讀取，並按 model_type 自動識別；LFM3-Audio 的 depthformer 關閉 flash attention，編碼器卷積與 codec 保持不量化。

地端推論開源 llama.cpp LFM3-Audio LFM3-Omni TTS 多模態

5 個來源 · 8 則報導閱讀原文

llama.cpp releases10/16 11:29AI 評分40

llama.cpp b11696 修正 Hexagon HMX FA sinks

llama.cpp 新建置 b11696 修正了 Hexagon NPU 上 HMX 核心的 flash attention sink 計算，並把 sinks 做了向量化，提交由高通工程師 Max Krasnyansky 參與。該版本照例給出 macOS/iOS、Linux、Windows、Android、openEuler 的預編譯包，涵蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 等後端；

地端推論開源 llama.cpp Hexagon NPU Snapdragon 建置發布本地推理

閱讀原文

llama.cpp releases11/4 01:39AI 評分37

llama.cpp b12090 修復 zDNN 後端 fattn 測試失敗

llama.cpp 發布建置 b12090，唯一程式碼改動是修復 ggml-zdnn 後端的 flash attention 測試失敗（#31583）。該版本同步放出覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler 的預編譯包，包含 CUDA 12.8/13.4、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及驍龍 CPU/Adreno GPU/Hexagon NPU 版本；

地端推論開源 llama.cpp ggml-zdnn b12090 本地推理 bugfix

閱讀原文

llama.cpp releases10/19 05:47AI 評分43

llama.cpp b11724 修復 CUDA flash_attn_ext_vec 競態

llama.cpp 發布 b11724 建置，主要修復 CUDA 後端 flash_attn_ext_vec 中共享記憶體的寫後讀（WAR）冒險與 KQ 寫後讀競態，避免注意力計算出錯。補丁由社群貢獻者提交，並附 ChatGPT 協助說明，同時整理了 KQ 同步相關注釋。

地端推論開源 llama.cpp CUDA flash attention 版本發布推理引擎

閱讀原文

llama.cpp releases10/7 11:52AI 評分42

llama.cpp b11466 修復 WebGPU flash_attn 的 KV 重疊檢查

llama.cpp 發布 b11466，唯一程式碼改動是修復 ggml-webgpu 後端 flash_attn 對 KV 重疊情形的 supports_op 檢查（#28205）。該版本同步更新各平台預編譯包，涵蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，後端包括 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO，以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU；

地端推論開源 llama.cpp WebGPU flash attention 本地推理版本發布

閱讀原文

Latent Space● 精選10/21 13:04AI 評分77

Claude Code 上線 Claude Mods，介面與行為可程式設計

Claude Code 新增 Claude Mods：用 TypeScript/JavaScript 編寫的外掛在 Claude Code 內執行，作為中介軟體介入 prompt、工具呼叫與介面渲染事件，改變 CLI 和桌面端的執行流程與外觀。Anthropic 已內建六個 mod，包括 agents-md、diff、plugin-authoring、sec-default、telemetry 和預設關閉的 you-should-know；

開發工具產品與方案 Claude Mods Claude Code Attention Interface ModSmith 開源

閱讀原文

llama.cpp releases10/13 21:13AI 評分40

llama.cpp b11600 修復 T5 無快取注意力的 KQ 偏置填充

llama.cpp 發布建置 b11600，主要修復無快取注意力中 KQ 偏置未填充的問題：T5 會額外加入形狀為 [n_tokens, n_tokens] 的相對位置偏置，當 n_tokens 不能整除填充後的寬度時，與 KQ 相加會失敗，現在按 K、V 的做法用零把偏置填充到 mask 的 KV 維度。

地端推論開源 llama.cpp no-cache attention T5 建置發布本地推理

閱讀原文

Ollama releases10/21 18:32AI 評分43

MLX 0.40.8-rc0 新增 Flint 模型支援

MLX 發布 v0.40.8-rc0，新增對 Flint 模型的支援。為了讓 Flint 在 prompt 中保留數值型別與 schema 順序，版本會在保留解碼後的 API 值之外，同時保留源端 tool JSON；在匯入 safetensors 時組裝 ModelOpt expert banks，並禁止在轉換前直接建立 Flint NVFP4。共享 MLX attention 新增可選的 learned sinks 與裝置端 causal mask，由 Flint 啟用；

地端推論開源 MLX Flint NVFP4 safetensors 量化

6 個來源 · 9 則報導閱讀原文

llama.cpp releases10/27 20:15AI 評分36

llama.cpp 重構稀疏注意力 K 池選擇，與 kq_mask 形狀解耦

llama.cpp 讓 qwen4exp (QSA) 與 glm5-next 的稀疏注意力選擇不再跟隨 kq_mask 的形狀，改為在 KV cache 單元上按 [n_kv, n_tokens] 建置，到 attention 前才拆成 K 檢視的流。這樣 dense mask 可以自行改變佈局（例如按序列的行列表），不必改動稀疏層。同時刪掉了 build_fused_top_k_mask 中未使用的引數。

地端推論開源 llama.cpp 稀疏選擇 Qwen GLM 版本更新

1 個來源 · 2 則報導閱讀原文

機器之心● 精選10/31 14:28AI 評分78

Google 發布 T2J-Bench：63 個 PyTorch 轉 JAX 整倉遷移任務，TwinHarness 提分 11.4…

Google 等團隊發布 T2J-Bench，用 63 個整倉任務評測 Coding Agent 把 PyTorch 程式碼庫遷移到 JAX 的品質。任務覆蓋 18 個模型家族，含 45 個 LoRA 微調任務和 18 個 paged-attention 推理服務任務，從規範、數值、行為三層檢查。

研究開發工具 T2J-Bench Coding Agent PyTorch-to-JAX TwinHarness 基準測試

閱讀原文

llama.cpp releases11/2 08:06AI 評分27

llama.cpp 修復 WebGPU 批長度分配崩潰併發布 b12034

llama.cpp 發布 b12034 建置，修復 WebGPU 後端 scratch 分配大小不隨批長度單調增長的問題：以往用 n_ubatch 或單 token 預留的圖，覆蓋不了 2 到 19 行 query 的批，GGML_SCHED_NO_REALLOC 建置會因意外重分配而中止。修法是把行數傳入 flash attention vec 與 MMVQ 兩條路徑的判定，並按短路徑支援的最長批長度限制 scratch 大小。

地端推論開源 llama.cpp WebGPU CI 建置發布本地推理

閱讀原文

llama.cpp releases10/5 10:08AI 評分47

llama.cpp b11411 修復 KV cache 旋轉後設資料不匹配問題

llama.cpp 發布 b11411，修復恢復 KV cache 時 rotation 後設資料不匹配的問題：現在會儲存精確的 rotation 後設資料，並拒絕恢復與之不匹配的快取。原先的 state rotation 測試被移入 test-save-load-state，納入儲存/載入測試矩陣，對所有受測模型執行，並探測模型支援的 KV cache 型別組合，不使用 attention rotation 的模型視為空通過。

開發工具地端推論 llama.cpp KV cache 本地推理開源版本更新

閱讀原文

Hacker News front page● 精選10/20 09:08AI 評分81

DeepSeek 開源推理引擎 DeepInfer，支援 V4.1-Flash

DeepSeek 以 Apache 2.0 協議開源了支撐其大規模生產服務的推理框架 DeepInfer，目前僅支援 DeepSeek-V4.1-Flash 一個模型。該框架包含 FlashMLA、DeepGEMM、DeepEP 等最佳化核心，Attention DP 與 MoE EP+EPLB 並行，DSpark 投機解碼（草稿長度預設 5），以及預設開啟的非同步排程、批不變推理、確定性取樣，並支援正則、JSON schema、EBNF 結構化輸出。

開源地端推論 DeepInfer 開源推理引擎 DeepSeek-V4.1-Flash Apache 2.0

4 個來源 · 7 則報導閱讀原文

Hacker News front page10/12 15:16AI 評分45

凱文·凱利 2016 年 AI 預測十年後回顧，Google 主業將變 AI

文章在凱文·凱利 2016 年出版的《必然》問世十年後，逐條回看他當時對 AI 的判斷。他預言到 2026 年 Google 的主業將不再是搜尋而是 AI，AI 會由兩三家通用雲端商業智慧形成寡頭格局，形態更像可按需取用的 AWS 式廉價基礎設施，且絕大多數是狹窄的專用軟體大腦；人們還能用對話語氣向雲端提出任何問題。文中另提到 Google 研究者 2017 年發表《Attention Is All You Need》，提出 transformer 架構。

研究 Kevin Kelly AI 預測 Transformer 雲 AI 開放權重

閱讀原文

Hacker News front page10/30 20:09AI 評分57

用約 25 行 SQL 自動推匯出 FlashAttention 核心

一份演示用約 25 行只表達樸素 attention 的 SQL，自動推匯出了 FlashAttention 核心。這依賴作者正在建置的三個可移植 SQL 擴充套件：xarray-sql 把雲上 PB 級陣列資料集表示為關係表，ddx 為 SQL 加入 JAX 風格的自動微分，einfold 是面向 SQL 張量收縮的模組化查詢規劃器。作者的主張是把張量程式的邏輯層與物理層分離，用關係代數來形式化「苦澀的教訓」，並招募資料庫理論與 ML 系統交叉方向的人。

研究開發工具 FlashAttention SQL 自動微分查詢規劃器張量計算

閱讀原文

量子位10/19 05:22AI 評分50

商湯大裝置日均服務 6 萬億 Token，異構推理吞吐提升 5 倍

商湯大裝置日均 Token 服務量已達 6 萬億，並預計第四季度升至日均 10 萬億。其在臨港 AIDC 建成萬卡級異構推理叢集，用 PD 分離把 Prefill 交給國產算力、Decode 交給高頻寬 GPU，並支援節點角色動態切換，在相同高階旗艦卡數量下整體 Token 吞吐提升至 5 倍。此外還在探索跨域 PD 分離與 Attention/FFN 分離，後者有望讓單卡吞吐提升 150%–200%、運營成本降低 30%–40%。

產品與方案商湯大裝置 Token 服務推理基礎設施 PD 分離異構算力

閱讀原文

機器之心10/24 14:30AI 評分63

NeurIPS 26 論文 EchoChat：把共情語音對話拆成感知、心智理論推理與回應三步

EchoChat 將共情語音對話拆成情緒感知、心智理論推理與語音回覆生成三個環節，並用統一框架聯合最佳化。它在監督微調階段引入 Acoustic-Anchored Attention 強化對聲學線索的利用，在強化學習階段用 SDCA 為各環節分配針對性獎勵，並以門控機制約束後續階段的獎勵。團隊同時建置了 EchoDialogue-400K 共情對話資料集，以及真人錄製、心理學專家標註的 EchoEval 評測基準。

研究共情語音對話語音大模型心智理論 EchoChat 多階段推理

閱讀原文