Hacker News front pageAI 評分54
arXiv 論文提出無注意力架構 Causal Grassmann 層
一篇 arXiv 論文提出不依賴自注意力的 Causal Grassmann 層：先用 Plücker 座標把區域性詞對編碼為 Grassmann 流形上的二維子空間，再門控融合回隱藏狀態。在 Wikitext-2 上，1300 萬至 1800 萬引數的純 Grassmann 模型驗證困惑度與同規模 Transformer 相差約 10% 至 15%；
找到 1 筆；也可以試試 語意搜尋
一篇 arXiv 論文提出不依賴自注意力的 Causal Grassmann 層：先用 Plücker 座標把區域性詞對編碼為 Grassmann 流形上的二維子空間，再門控融合回隱藏狀態。在 Wikitext-2 上，1300 萬至 1800 萬引數的純 Grassmann 模型驗證困惑度與同規模 Transformer 相差約 10% 至 15%；