搜尋

用約 25 行 SQL 自動推匯出 FlashAttention 核心

一份演示用約 25 行只表達樸素 attention 的 SQL，自動推匯出了 FlashAttention 核心。這依賴作者正在建置的三個可移植 SQL 擴充套件：xarray-sql 把雲上 PB 級陣列資料集表示為關係表，ddx 為 SQL 加入 JAX 風格的自動微分，einfold 是面向 SQL 張量收縮的模組化查詢規劃器。作者的主張是把張量程式的邏輯層與物理層分離，用關係代數來形式化「苦澀的教訓」，並招募資料庫理論與 ML 系統交叉方向的人。