論文證明離散擴散單步取樣僅能匹配條件獨立位置

Apple Machine Learning Research10/2 01:00觀點研究

研究證明，離散擴散（含 remasking 與 uniform-state 取樣器）的某一步只有在所寫入位置在已固定 token 條件下相互獨立時，才與訓練分佈一致；任何 per-position 分佈的乘積都無法匹配存在依賴的一組 token。文中指出畫素、音素、詞等常見領域的 token 之間存在固有依賴，而這類取樣器每步會寫入多個 token 位置，每個位置從各自的 per-position 分佈取樣，並依據同一批分佈決定寫入哪些位置。

它給出的是擴散式生成在並行寫入多 token 時的理論邊界，可作為判斷擴散語言模型（而非自迴歸）能否用於程式碼與文字生成的評估依據，而不只是看取樣吞吐。