跳到主要內容
maxstudioNews
研究Apple Machine Learning Research約 2 分鐘

StereoFoley:Apple 實現影片物件感知立體音訊生成新突破

Apple 機器學習研究團隊發表 StereoFoley,這是一個能從影片生成物件感知立體音訊的框架。它能產生語義對齊、時間同步且空間精準的 48 kHz 立體音效,解決了現有模型在單聲道或缺乏物件感知立體成像上的限制。透過創新的合成資料生成管線與模型微調,StereoFoley 建立了影片轉音訊生成領域的新基準。

StereoFoley:Apple 實現影片物件感知立體音訊生成新突破
圖片來源:Apple Machine Learning Research

作者:Tornike Karchkhadze†**, Kuan-Lin Chen, Mojtaba Heydari, Robert Henzel, Alessandro Toso, Mehrez Souden, Joshua Atkins我們發表了 StereoFoley,這是一個能從影片生成音訊的框架,它能產生語義對齊、時間同步且空間精準的 48 kHz 立體音效。

儘管近期生成式影片轉音訊模型在語義準確性和時間同步性方面表現出色,但它們大多仍受限於單聲道,或無法提供物件感知立體成像,這主要是因為缺乏專業混音且空間精準的影片轉音訊資料集。首先,我們開發並訓練了一個基礎模型,能從影片生成立體音訊,在語義準確性和同步性方面均達到最先進水準。

接著,為克服資料集限制,我們引入了一個合成資料生成管線,它結合了影片分析、物件追蹤和音訊合成,並搭配動態聲像移動和基於距離的響度控制,從而實現了空間精準的物件感知音效。最後,我們利用這個合成資料集對基礎模型進行微調,產生了清晰的物件與音訊對應關係。

由於目前沒有既定的評估指標,我們引入了立體物件感知測量方法,並透過人類聽覺研究進行驗證,結果顯示與感知有高度相關性。這項工作建立了第一個用於立體物件感知影片轉音訊生成的端到端框架,填補了一個關鍵空白,並在該領域樹立了新基準。

  • † 加州大學聖地牙哥分校
  • ** 在 Apple 工作期間完成

相關閱讀與更新。

我們介紹 ImmerseDiffusion,這是一個端到端的生成式音訊模型,能根據聲音物件的空間、時間和環境條件,產生 3D 沉浸式聲景。ImmerseDiffusion 經過訓練,能生成一階環繞聲 (FOA) 音訊,這是一種包含四個聲道的傳統空間音訊格式,可渲染為多聲道空間輸出。所提出的生成系統由一個空間…

人類可以根據不精確的自然語言描述來想像一個聲音場景。例如,很容易想像一個聲學環境,如果聽到「獅子的吼聲從我身後傳來!」這樣的短語。對於機器要達到相同的理解程度,它必須知道獅子是什麼(語義屬性),「身後」的概念是什麼(空間屬性),以及這些語言資訊如何與語義和…對齊。

Share

覺得值得一看?分享給朋友。

以上為 AI 自動翻譯導讀。原文版權歸 Apple Machine Learning Research 所有, 建議透過「閱讀原文」前往原始網站,以取得最完整資訊並支持原作者。

Newsletter

不用每天追,AI 重點每週寄給你

43 個來源、每 2 小時更新,太多看不完。電子報每週挑最值得看的幾則,附上 Max 的看法。

每週一封。Email 只用來寄電子報,每封信都能一鍵退訂。