Quanta 專欄回顧注意力機制起源與影響
Quanta 雜誌專欄回顧注意力機制的由來與影響：2014 年，Dzmitry Bahdanau 與 Yoshua Bengio、Kyunghyun Cho 為提升英法翻譯提出注意力，讓神經網路處理長句不再受固定記憶瓶頸限制。它讓網路動態判斷源句中哪些詞最影響下一個輸出詞。2017 年 Google 團隊發表《Attention Is All You Need》，提出只靠注意力的 transformer，以更少算力取得當時最佳翻譯，該論文已被引用超過 25 萬次。
追溯注意力從 2014 年翻譯技巧到 transformer 的路徑，並用超過 25 萬次引用說明其影響，適合想理解大模型底層機制與 AI 史的人。
原標題：Is 'Attention' the Essence of Intelligence?
閱讀原文
| 評分 | 65 / 55（平均 60，門檻 76） |
|---|---|
| 狀態 | 未入選 |
相關報導
Hinton、Bengio 等 22 位作者發首篇 RSI 論文，討論智慧爆炸
Hinton、Bengio 等 22 位作者聯合發表首篇 RSI（遞迴自我改進）論文《What if automating AI R&D triggers an intelligence explosion?》。論文引用 Anthropic 內部資料：AI 生成獲批程式碼佔比從 2025 年 1 月的低個位數升至 2026 年 5 月的超 80%，Claude 在高層監督下自主完成的 AI 研發工作比例從 2026 年 3 月的約 1% 升到 8 月的 26%。
OpenAI 可解釋團隊建立人：神經網路並非黑箱，90% 神經元只有一個功能
OpenAI 可解釋團隊建立人 Nick Cammarata 髮長文稱，神經網路並非多義糾纏的黑箱，疊加（superposition）假說被看錯了，可解釋性可能很快被解決。他重查 InceptionV1 中同時回應貓臉與汽車前臉的神經元，發現二者共享 V 形特徵；對 Qwen3-32B 的初步審查顯示約 90% 神經元正負兩極各有一項主要工作，約 7% 有兩項，2%—4% 未理解，並在 Kimi K3 上做出已知首個萬億引數模型歸因圖。
llama.cpp 將無快取注意力的 KV 維度填充到 256，修復 Flash Attention 回退 CPU
llama.cpp b11576 把無快取注意力路徑的 KV 維度填充到 256，修復了該路徑下 Flash Attention 回退 CPU 的問題。
Dust：不用反向傳播預訓練 Transformer 的零階方法
研究者提出 Dust，稱這是首個在預訓練 Transformer 語言模型上與反向傳播有競爭力的零階方法。它不擾動權重，而是在每個 token 上獨立擾動啟用（node perturbation），把每個 token 當作一個虛擬種群成員，一次前向傳播即可並行評估全部成員。論文稱在種群規模足夠大（即算力顯著更多）時 Dust 接近反向傳播，部分設定下甚至超過；
哈工大深圳與 NUS 提出 QuantWM，2-bit KV Cache 壓縮 6.2 倍
哈工大（深圳）與新加坡國立大學團隊提出免訓練 2-bit KV Cache 量化框架 QuantWM，面向影片世界模型，實際壓縮最高 6.20 倍。研究指出，現有量化方法在 VBench 等指標上接近 BF16，畫面卻仍有閃爍、模糊和失真，原因是 Key 的量化誤差改變了注意力分數排序，使模型選中不同的歷史幀或影像塊。