用 DOOM 機制實現 Transformer，DOOMFORMER 比 NumPy 慢 65000 倍
開發者發布 DOOMFORMER，用 DOOM 的遊戲機制和 voodoo dolls 實現 Transformer 所需運算，做出一個比 NumPy 慢 65000 倍的替代方案。作者強調 DOOM 圖靈完備，因此能把遊戲機制替換成實際運算。目前 DOOMFORMER 已經能分類 MNIST 數字（包括寫在地圖上的數字）、做簡單對話、做決策並玩 DOOM；還可用它生成地圖，讓 DOOM 控制遊戲角色。作者稱更大規模訓練可在 T4 上完成，並希望有人合作擴充套件。
原標題：Show HN: I Turned DOOM into a Transformer
閱讀原文
| 評分 | 55 / 45（平均 50，門檻 76） |
|---|---|
| 狀態 | 未入選 |
相關報導
Q Labs 發布 Dust：不用反向傳播預訓練 Transformer
Q Labs 發布 Dust，這是一種不依賴反向傳播、能在 Transformer 預訓練任務上與反向傳播競爭的零階最佳化方法：它在每層啟用值上按 token 獨立新增高斯噪聲，一次前向傳播即可並行評估數千個「虛擬種群」成員，並據此估計梯度。團隊在 FineWeb 上最大隻驗證到 2.43 億引數、2000 萬 token，並稱在大規模種群下可逼近甚至超過反向傳播，但成本仍高几個數量級；第三方復現認為其優勢有限，反向傳播換用更合適的最佳化器後會明顯領先。
KTransformers-FineTune 讓 CPU 直接算 MoE 專家，微調吞吐最高提升 21.2 倍
清華 MADSys 實驗室與趨境科技提出 KTransformers-FineTune（KT-FT），讓 CPU 用主存中的權重直接完成 MoE 專家計算、GPU 只負責注意力，LoRA 微調吞吐達到 ZeRO-Offload 等解除安裝基線的 2.5～21.2 倍。該方案已作為執行後端接入 LlamaFactory，CPU 側用 AVX-512/AMX 指令集計算專家，支援微調與推理在同等硬體下一鍵執行。
Dust：不用反向傳播預訓練 Transformer 的零階方法
研究者提出 Dust，稱這是首個在預訓練 Transformer 語言模型上與反向傳播有競爭力的零階方法。它不擾動權重，而是在每個 token 上獨立擾動啟用（node perturbation），把每個 token 當作一個虛擬種群成員，一次前向傳播即可並行評估全部成員。論文稱在種群規模足夠大（即算力顯著更多）時 Dust 接近反向傳播，部分設定下甚至超過；
小紅書開源 DoSA，1M 上下文首 token 延遲最多降 48%
小紅書 Dots 團隊開源稀疏注意力加速方案 DoSA，在保持原始 Top-K 選擇結果完全等價的前提下加速索引器，約 1M token 上下文下 Dots3-Note-preview、GLM-5.2、DeepSeek-V3.2 的首 token 延遲較各自 SGLang 基線分別降低約 37%、46% 和 48%。其做法是用分數上界與入選門檻下界，提前排除約 97% 不可能入選的候選，只對剩餘候選做全部索引頭的精確打分。
TorchTPU 發布：Transformers 與 Diffusers 原生支援 TPU
Hugging Face 宣布 PyTorch 原生 TPU 後端 TorchTPU 落地，Transformers、Diffusers 與 Kernels 現在可直接在 TPU 上執行，不再需要 torch_xla 或 Optimum TPU。安裝只需一條 pip 命令；