Q Labs 發布 Dust：不用反向傳播預訓練 Transformer
Q Labs 發布 Dust，這是一種不依賴反向傳播、能在 Transformer 預訓練任務上與反向傳播競爭的零階最佳化方法：它在每層啟用值上按 token 獨立新增高斯噪聲，一次前向傳播即可並行評估數千個「虛擬種群」成員，並據此估計梯度。團隊在 FineWeb 上最大隻驗證到 2.43 億引數、2000 萬 token，並稱在大規模種群下可逼近甚至超過反向傳播，但成本仍高几個數量級；第三方復現認為其優勢有限，反向傳播換用更合適的最佳化器後會明顯領先。
首個在 Transformer 預訓練上與反向傳播正面比較的零階方法，並配論文、程式碼與公開競賽，同時給出 2.43 億引數的實測邊界和第三方復現結論，適合關注預訓練演算法與算力路線的人。
原標題：不用反向传播，也能预训练Transformer，Jeff Dean投的这家公司出成果了
閱讀原文
| 評分 | 70 / 70（平均 70，門檻 65） |
|---|---|
| 狀態 | 精選 |
相關報導
Dust：不用反向傳播預訓練 Transformer 的零階方法
研究者提出 Dust，稱這是首個在預訓練 Transformer 語言模型上與反向傳播有競爭力的零階方法。它不擾動權重，而是在每個 token 上獨立擾動啟用（node perturbation），把每個 token 當作一個虛擬種群成員，一次前向傳播即可並行評估全部成員。論文稱在種群規模足夠大（即算力顯著更多）時 Dust 接近反向傳播，部分設定下甚至超過；
HyperQ 用 64 量子位元讓 1.1B 擴散語言模型超過 8B 模型
蒙特利爾大學、Mila 與麥吉爾團隊提出 HyperQ，把逐 Token 動態生成的量子電路接入擴散語言模型；在 64 量子位元下，11 億引數模型的六項零樣本測試平均分超過 Qwen3-8B 等 80 億引數模型。超網路根據每個 Token 的隱藏狀態生成量子門旋轉角度、耦合強度與測量方向，只訓練新增的量子分支，不改動主幹；相比凍結主幹提升 4.71 分，也超過 LoRA 微調，而指令微調資料只有後者的十分之一。
小紅書開源 DoSA，1M 上下文首 token 延遲最多降 48%
小紅書 Dots 團隊開源稀疏注意力加速方案 DoSA，在保持原始 Top-K 選擇結果完全等價的前提下加速索引器，約 1M token 上下文下 Dots3-Note-preview、GLM-5.2、DeepSeek-V3.2 的首 token 延遲較各自 SGLang 基線分別降低約 37%、46% 和 48%。其做法是用分數上界與入選門檻下界，提前排除約 97% 不可能入選的候選，只對剩餘候選做全部索引頭的精確打分。
llama.cpp 為 zdnn 後端加入 Q8_0 矩陣乘法原型
llama.cpp 建置 b11582 引入 ggml-zdnn 的 Q8_0 矩陣乘法原型，由 IBM 的 Aaron Teo 提交，並同步更新了 zdnn 文件。zdnn 面向 IBM Z（s390x）平台，目前這一支援仍屬初步原型。
用 ML Intern 幾天做出 6 個模型，9B 改寫器壓到 0.8B
Hugging Face 的 yuvraj sharma 用 HuggingChat 裡的 ML Intern agent，幾天內做出 6 個公開模型，其中把 Qwen-Image 2.1 自帶的 9B 提示改寫器蒸餾成 0.8B 版本，可在 CPU 執行，輸出有效率 99.7%，token 消耗約為教師模型的四分之一。該專案含 9B 模型標註 8,797 條樣本，算力成本 16 美元。