機器之心● 精選AI 評分73
復旦團隊系統比較滑窗與線性注意力混合架構，提出 SWLA 免訓練外推
復旦大學與上海創智學院 OpenMOSS 團隊在 376M、776M、1B、3B 四個規模上，系統比較了 RoPE/NoPE 全注意力與滑窗注意力、GLA/GDN 門控線性注意力的混合架構。結論是滑窗混合（SWA-NoPE）長度外推更強但長文續訓偏弱，線性混合（GLA/GDN-NoPE）正好相反，團隊稱之為蹺蹺板效應與沒有免費午餐效應。
找到 1 筆；也可以試試 語意搜尋
復旦大學與上海創智學院 OpenMOSS 團隊在 376M、776M、1B、3B 四個規模上，系統比較了 RoPE/NoPE 全注意力與滑窗注意力、GLA/GDN 門控線性注意力的混合架構。結論是滑窗混合（SWA-NoPE）長度外推更強但長文續訓偏弱，線性混合（GLA/GDN-NoPE）正好相反，團隊稱之為蹺蹺板效應與沒有免費午餐效應。