作者:Tianrong Chen, Jiatao Gu, David Berthelot, Joshua Susskind, Shuangfei Zhai正規化流(Normalizing Flows, NFs)是一類經典的基於似然(likelihood-based)方法,近期再次受到關注。

近期研究,例如 TARFlow,已證明 NFs 在圖像建模任務上能達到不錯的效能,使其成為擴散模型(diffusion models)等方法的潛在替代方案。在這項工作中,我們透過引入疊代 TARFlow(iTARFlow),進一步推動了正規化流生成模型(Normalizing Flow generative models)的發展。

與擴散模型不同,iTARFlow 在訓練期間維持完全端到端(end-to-end)的基於似然目標。在取樣時,它執行自迴歸生成(autoregressive generation),隨後進行受擴散式方法啟發的疊代去噪(iterative denoising)程序。

透過大量實驗,我們展示了 iTARFlow 在 ImageNet 64、128 和 256 像素解析度上均達到具競爭力的效能,證明了其作為強大生成模型的潛力,並推動了正規化流領域的進展。此外,我們分析了 iTARFlow 產生的特徵性偽影(artifacts),提供了可能啟發未來改進的見解。

程式碼可在 https://github.com/apple/ml-itarflow 取得。相關閱讀與更新。我們介紹了 STARFlow,這是一種基於正規化流的可擴展生成模型,在高解析度圖像合成方面表現出色。STARFlow 的核心是 Transformer 自迴歸流(TARFlow),它結合了正規化流的表達能力與自迴歸 Transformer 的結構化建模能力。

我們首先確立了 TARFlow 在建模連續分佈方面的理論普適性。基於…閱讀更多正規化流(NFs)是針對連續輸入的基於似然模型。它們在密度估計和生成建模任務上都展現出有前景的結果,但近年來受到的關注相對較少。在這項工作中,我們證明了 NFs 比先前認為的更強大。

我們提出了 TarFlow:一個簡單且可擴展的架構,能夠實現高效能的 NF 模型。TarFlow 可以被視為一個…閱讀更多