機器之心● 精選AI 評分73
復旦團隊系統比較滑窗與線性注意力混合架構，提出 SWLA 免訓練外推
復旦大學與上海創智學院 OpenMOSS 團隊在 376M、776M、1B、3B 四個規模上，系統比較了 RoPE/NoPE 全注意力與滑窗注意力、GLA/GDN 門控線性注意力的混合架構。結論是滑窗混合（SWA-NoPE）長度外推更強但長文續訓偏弱，線性混合（GLA/GDN-NoPE）正好相反，團隊稱之為蹺蹺板效應與沒有免費午餐效應。
搜尋
找到 2 筆；也可以試試 語意搜尋
Hugging Face blog● 精選AI 評分65
TII 發布 Falcon-Emirati-7B，專為阿聯酋方言適配
阿聯酋 TII 發布 Falcon-Emirati-7B，一個基於 Falcon-H1-Arabic 的方言專用模型，目標是用阿聯酋阿拉伯語的理解與生成方式覆蓋詞彙、語氣和文化語境。底座 Falcon-H1-Arabic 採用 Mamba 與 Transformer 注意力並行的混合架構，家族含 3B、7B、34B 三檔，上下文視窗最高 128K 與 256K token。