機器之心● 精選AI 評分78
哈工大 STILL 被 NeurIPS 2026 接收，首個內容感知層內混合注意力
哈爾濱工業大學（深圳）團隊的 STILL 被 NeurIPS 2026 接收，這是首個按內容而非位置在同一注意力層內混合 Softmax 與線性注意力的框架：先用區域性滑窗內的自顯著性分數挑出重要 token 交給 Softmax，其餘交給線性注意力，並用保範數對映 NP-Map 保住預訓練範數結構。它僅用 0.04B token 完成對預訓練 LLM 的線性化，16K 上下文下視訊記憶體削減 80%、預填充加速 83%；