機器之心● 精選AI 評分73
復旦團隊系統比較滑窗與線性注意力混合架構，提出 SWLA 免訓練外推
復旦大學與上海創智學院 OpenMOSS 團隊在 376M、776M、1B、3B 四個規模上，系統比較了 RoPE/NoPE 全注意力與滑窗注意力、GLA/GDN 門控線性注意力的混合架構。結論是滑窗混合（SWA-NoPE）長度外推更強但長文續訓偏弱，線性混合（GLA/GDN-NoPE）正好相反，團隊稱之為蹺蹺板效應與沒有免費午餐效應。
搜尋
找到 2 筆；也可以試試 語意搜尋
Hacker News front pageAI 評分68
Liquid AI 發布 LFM3：六個 2B 級多模態開源模型
Liquid AI 發布 LFM3 家族，首發六個約 2B 引數的多模態模型，均源自同一 LFM3-1.7B-Base 骨幹，覆蓋文字、視覺、音訊、omni 以及兩個決策模型。基座以 22T tokens 預訓練，最後 3.5T tokens 的中期訓練將上下文擴至 256K。架構由門控短卷積、256 token 滑窗注意力與全域性注意力三混合而成，8K 上下文下比 LFM2 快約 25%。