跳到主要內容
maxstudioNews
研究Apple Machine Learning Research約 2 分鐘

Apple 機器學習研究:實用化機器學習影像壓縮的關鍵要素

Apple 機器學習研究團隊提出了一種新型機器學習影像編解碼器,旨在彌補現有技術在感知品質與實用性之間的差距。該編解碼器透過綜合優化感知品質和執行時間,在嚴謹的主觀使用者研究中,相較於傳統及其他機器學習編解碼器,實現了顯著的位元率節省,並在 iPhone 17 Pro Max 上展現出超越 V100 GPU 的裝置端編解碼速度。

Apple 機器學習研究:實用化機器學習影像壓縮的關鍵要素
圖片來源:Apple Machine Learning Research

撰寫者:Kedar Tatwawadi, Parisa Rahimzadeh, Zhanghao Sun, Zhiqi Chen, Ziyun Yang, Sanjay Nair, Divija Hasteer, Oren Rippel機器學習編解碼器相較於傳統硬編碼編解碼器的一大優勢,在於它們能夠直接針對人類視覺系統進行優化。

儘管具備此潛力,但目前尚未提出兼具感知品質與實用性的影像編解碼器。本研究旨在彌補此一差距。我們全面探討了影響實用機器學習影像編解碼器設計的關鍵模型選擇,這些選擇同時針對感知品質和執行時間進行優化,其中包含多項新穎的消融技術。接著,我們對數百萬種骨幹網路配置進行了效能感知神經架構搜尋,以找出能在達到目標裝置端執行時間的同時,最大化由感知指標衡量的壓縮效能的模型。

我們結合了多種優化措施,建構出一個新的編解碼器,顯著提升了速度與感知品質之間的權衡。根據嚴謹的主觀使用者研究,相較於 AV1、AV2、VVC、ECM 和 JPEG-AI,它能節省 2.3–3 倍的位元率;相較於最佳的機器學習編解碼器替代方案,則能節省 20–40% 的位元率。

同時,在 iPhone 17 Pro Max 上,它能以 230 毫秒的速度編碼 12MP 影像,並以 150 毫秒的速度解碼,這比大多數頂級基於機器學習的編解碼器在 V100 GPU 上運行的速度還要快。相關閱讀與更新。為了提供豐富的互動體驗,為具身對話代理生成自然的頭部動作以配合語音是必要的。

大多數先前的研究透過使用客觀指標將生成的頭部動作與單一真實資料進行比較來評估其品質。然而,許多合理的頭部動作序列都可以伴隨一個語音表達。在這項工作中,我們研究了頭部動作感知品質的變化……閱讀更多深度生成模型(deep generative models)的最新進展,促成了神經臉部影片壓縮編解碼器的發展,其使用的頻寬比工程編解碼器少一個數量級。

這些神經編解碼器透過扭曲來源影格並使用生成模型來彌補扭曲來源影格中的缺陷,從而重建當前影格。因此,扭曲是使用少量關鍵點而非密集的流場進行編碼和傳輸……閱讀更多

Share

覺得值得一看?分享給朋友。

以上為 AI 自動翻譯導讀。原文版權歸 Apple Machine Learning Research 所有, 建議透過「閱讀原文」前往原始網站,以取得最完整資訊並支持原作者。

Newsletter

不用每天追,AI 重點每週寄給你

43 個來源、每 2 小時更新,太多看不完。電子報每週挑最值得看的幾則,附上 Max 的看法。

每週一封。Email 只用來寄電子報,每封信都能一鍵退訂。