自迴歸擴散生成市場資料:DDPM 發散,流匹配更穩
用自迴歸擴散生成市場資料時,全連續擴散難以刻畫真實訂單流的尖峰分佈。實習生 Kavish 以 4 年美國股票事件級資料訓練模型,發現 DDPM 在 1000 步餘弦噪聲排程下不穩定,7 個連續目標中 88%–95% 的取值偏離分佈均值 8 個標準差以上,改用流匹配後開箱即可用。模型用因果掩碼 Transformer 編碼事件,事件型別頭判斷交易或 BBO 更新,價格、時間間隔等連續特徵由擴散頭生成。
給出了自迴歸擴散合成訂單簿事件的具體失敗模式與量化證據:DDPM 數值發散、流匹配開箱可用,對研究生成模型與市場資料建模的人有參考價值。
原標題:Can you use autoregressive diffusion to generate market data?
閱讀原文
| 評分 | 63 / 65(平均 64,門檻 76) |
|---|---|
| 狀態 | 未入選 |
相關報導
研究指離散擴散模型單步生成依賴條件獨立假設
一項研究分析了離散擴散模型(含 remasking 與 uniform-state 取樣器)的單步生成機制,指出一步生成只有在所寫位置在已固定 token 條件下相互獨立時,才與訓練分佈匹配。研究證明,任何逐位置分佈的乘積都無法匹配存在依賴關係的 token 組,而畫素、音素、詞等常見領域中的 token 本身存在固有依賴。
NTM 提出:少步擴散每步用條件歸一化流,保留精確似然
論文提出 Normalizing Trajectory Models(NTM),把擴散模型的每個反向步建模為表達力強的條件歸一化流,並支援精確似然訓練。擴散取樣通常依賴大量細小的高斯去噪步,壓縮到少數粗粒度轉移時該假設不再成立;此前的少步方法用蒸餾、一致性訓練或對抗目標解決,但都放棄了似然框架。架構上,NTM 在每步內組合淺層可逆塊與深層並行結構。
清華提出樣本分佈訓練,一步生圖 SOTA、8 卡訓 14B 影片模型
清華大學等機構提出「樣本分佈訓練」,用一批生成樣本與參考樣本的整體分佈差異提供監督,取代逐樣本的參考答案,把生成壓縮到一步或少數幾步。MGFlow 在 ImageNet 256×256 上把 pMF-H、JiT-H 的單步 FDr⁶ 降至 1.45、1.64,較 FD-Loss 降低約 23% 和 38%;後訓練 FLUX.2 [klein] 4B 一步文生圖,GenEval 從四步的 0.794 升至 0.900。
Oscilloscope Diffusion 發布,可對現有影片做擴散重繪
Oscilloscope Diffusion 是一種通過擴散模型干預現有影片的新方法,以影片的運動與形態為起點,重新詮釋其紋理、材質與視覺語言。該工具由作者圍繞其在 TouchDesigner 中製作的音訊反應幾何系統開發,演示素材來自其 Oscilloscopes, everywhere 合集(已更新至 v1.2),也可輸入任意影片源。使用者可選擇源影片、描述處理方式,並通過提示詞、精選 LoRA 與可編輯時間線控制結果與原始影片的貼合程度。
UniEvo-VL:多模態模型自蒸餾自我進化訓練配方
arXiv 上提交的 UniEvo-VL 提出一種 on-policy 自蒸餾訓練方法:讓同一個多模態模型分別以學生和教師身份出現,學生只看原始問題,教師額外看到自我批評作為特權資訊,訓練目標是縮小兩者在取樣軌跡上去噪擴散分佈的差異,無需依賴更大的外部教師模型。基於開源 Qwen-image-2512,GenEval 從 0.747 升至 0.808,GenEval2 Soft-TIFA 從 32.97 升至 35.53。