Dust:不用反向傳播預訓練 Transformer 的零階方法
研究者提出 Dust,稱這是首個在預訓練 Transformer 語言模型上與反向傳播有競爭力的零階方法。它不擾動權重,而是在每個 token 上獨立擾動啟用(node perturbation),把每個 token 當作一個虛擬種群成員,一次前向傳播即可並行評估全部成員。論文稱在種群規模足夠大(即算力顯著更多)時 Dust 接近反向傳播,部分設定下甚至超過;
依意思最接近的 6 筆
研究者提出 Dust,稱這是首個在預訓練 Transformer 語言模型上與反向傳播有競爭力的零階方法。它不擾動權重,而是在每個 token 上獨立擾動啟用(node perturbation),把每個 token 當作一個虛擬種群成員,一次前向傳播即可並行評估全部成員。論文稱在種群規模足夠大(即算力顯著更多)時 Dust 接近反向傳播,部分設定下甚至超過;
OpenAI 本週發布名為 Dots 的智慧體平台,定位企業辦公軟體,同時也能完成訂餐等日常任務。Dots 採用圓潤擬人化頭像並支援自訂名稱,目前每位使用者只能擁有一個 Dots,未來將支援多個。介面為雙視窗設計,一個視窗用於對話,另一個視窗用於跟蹤智慧體的工作過程。
Apple 研究員 awnihannun 在社交平台發布一首短詩,稱因「未來會 foom」而上調自己的 P(doom),即 AI 導致人類滅絕的主觀機率。詩中還提到中文房間、shoggoth 與死神之眼等 AI 圈內梗,未給出具體數值或論證。
Stripe 設計負責人 Katie Dill 在 2026 年 9 月 10 日舊金山 Lenny and Friends Summit 的演講中提出,AI 讓建置產品更容易,但產品容易淪為通用的殭屍 UI。她認為好設計仍取決於清晰的觀點、對使用者的理解和對細節的用心,並分享瞭如何把標準寫進 AI 工具、在初稿之外繼續編輯、用 AI 做出更原創的產品。該影片由 Lenny's Podcast 於 9 月 25 日發布,時長 21 分 47 秒。
AI 3D 生成公司 Meshy 披露,其 ARR 從 100 萬美元增長至 1 億美元,用時不到兩年,比 HeyGen 的 29 個月更快。Meshy 7 在自建幾何對齊基準中造型比例、空間分佈、表面細節三項指標領先受測模型,7.1 將幾何生成解析度從 2048³ 提升至 4096³。三七互娛已將其接入生產流程,基礎模型階段雕刻工作量減少 30% 至 40%。
Splice CEO Kakul Srivastava 認為 AI 生成的郵件正在扼殺對話。她曾任職於 Flickr、Yahoo、GitHub 和 Adobe,目前執掌為音樂製作人提供取樣素材的 Splice,該平台的取樣曾出現在 Lisa 的《Money》和 Sabrina Carpenter 的《Espresso》等熱門歌曲中。她還主導了 Splice 收購 Spitfire Audio 並推動平台向新領域拓展。