搜尋

論文證明離散擴散單步取樣僅能匹配條件獨立位置

研究證明，離散擴散（含 remasking 與 uniform-state 取樣器）的某一步只有在所寫入位置在已固定 token 條件下相互獨立時，才與訓練分佈一致；任何 per-position 分佈的乘積都無法匹配存在依賴的一組 token。文中指出畫素、音素、詞等常見領域的 token 之間存在固有依賴，而這類取樣器每步會寫入多個 token 位置，每個位置從各自的 per-position 分佈取樣，並依據同一批分佈決定寫入哪些位置。