跳到主要內容
maxstudioNews
研究Apple Machine Learning Research約 2 分鐘

文本條件式JEPA:以文本強化視覺語義表徵學習

蘋果機器學習研究團隊提出Text-Conditional JEPA(TC-JEPA),這是一種利用圖像描述來降低預測不確定性的新型視覺自監督學習方法。透過細粒度文本條件器,TC-JEPA能讓圖像特徵更具語義意義,進而提升下游任務的表現和訓練穩定性。此方法提供了一種僅基於特徵預測的視覺語言預訓練範式,在需要細緻視覺理解的任務上表現優於對比學習方法。

文本條件式JEPA:以文本強化視覺語義表徵學習
圖片來源:Apple Machine Learning Research

作者:Chen Huang, Xianhang Li, Vimal Thilak, Etai Littwin, Josh Susskind基於圖像的聯合嵌入預測架構(Image-based Joint-Embedding Predictive Architecture, I-JEPA)透過遮罩特徵預測,為視覺自監督學習提供了一種有前景的方法。

然而,由於遮罩位置固有的視覺不確定性,特徵預測仍具挑戰性,並可能無法學習到語義表徵。在這項工作中,我們提出了文本條件式JEPA(Text-Conditional JEPA, TC-JEPA),它利用圖像描述(image captions)來降低預測的不確定性。

具體來說,我們使用一個細粒度文本條件器(fine-grained text conditioner)來調節預測的圖像區塊特徵(patch features),該條件器會對輸入文本詞元(text tokens)計算稀疏的交叉注意力(cross-attention)。

透過這種條件化,圖像區塊特徵變得可以作為文本的函數來預測,因此更具語義意義。我們展示了TC-JEPA能提升下游任務(downstream performance)的表現和訓練穩定性,並具有良好的擴展潛力(scaling properties)。

TC-JEPA還提供了一種僅基於特徵預測的全新視覺語言預訓練範式(vision-language pretraining paradigm),在多樣化任務上,特別是那些需要細緻視覺理解和推理的任務上,其表現優於對比學習方法(contrastive methods)。

相關閱讀與更新。影片聯合嵌入預測架構(Video Joint Embedding Predictive Architectures, V-JEPA)透過使用指數移動平均(EMA)更新的教師模型,在潛在空間中預測遮罩區域,從而學習可泛化的現成影片表徵。

雖然EMA能防止表徵崩潰,但它使可擴展的模型選擇變得複雜,並將教師和學生架構耦合。我們重新審視了遮罩潛在預測,並證明凍結的教師模型就已足夠。具體來說,我們(i)訓練一個…閱讀更多。目前存在兩種競爭性的數據表徵自監督學習範式。聯合嵌入預測架構(Joint Embedding Predictive Architecture, JEPA)是一類架構,其中語義相似的輸入被編碼成彼此可預測的表徵。

JEPA框架下一個近期成功的做法是自蒸餾(self-distillation),其中一個線上編碼器被訓練來預測目標編碼器的輸出,有時會使用…閱讀更多。

Share

覺得值得一看?分享給朋友。

以上為 AI 自動翻譯導讀。原文版權歸 Apple Machine Learning Research 所有, 建議透過「閱讀原文」前往原始網站,以取得最完整資訊並支持原作者。

Newsletter

不用每天追,AI 重點每週寄給你

43 個來源、每 2 小時更新,太多看不完。電子報每週挑最值得看的幾則,附上 Max 的看法。

每週一封。Email 只用來寄電子報,每封信都能一鍵退訂。