跳到主要內容
maxstudioNews
產品The Sequence約 1 分鐘

輝達 Nemotron Omni:AI 代理的統一多模態感知與推理模型

輝達推出 Nemotron 3 Nano Omni,這是一個創新的多模態模型,旨在將多種感官輸入整合為單一、高效的感知與推理系統。它解決了現有多模型堆疊的碎片化問題,讓 AI 代理能更流暢地處理視訊、音訊、圖像和文字。此模型將顯著提升電腦使用、文件智慧和長影音理解等代理工作流程的效率。

輝達 Nemotron Omni:AI 代理的統一多模態感知與推理模型
圖片來源:The Sequence

輝達全新 Nemotron 3 Nano Omni 的有趣之處,並非它「具備多模態能力」。我們已經有許多模型能為圖像加上說明、轉錄語音、解析 PDF、回答關於影片的問題,以及在圖形使用者介面(GUI)中操作。Nemotron Omni 的獨特之處在於,它旨在讓這些多樣化的模型感覺像是一個單一的整體。

現今的多模態代理(agent)堆疊,通常像是一台魯布·戈德堡機械:音訊傳送給自動語音辨識(ASR)模型,螢幕截圖傳送給視覺語言模型(VLM),PDF 被渲染成圖像或透過光學字元辨識(OCR)轉換成文字,影片則被取樣成影格,然後由一個語言模型嘗試將這些輸出拼接起來。

模型之間的每個邊界都是一個有損壓縮步驟。語音模型可能聽到「說了什麼」,卻不知道「說話時螢幕上顯示了什麼」。視覺模型可能看到圖表,卻聽不到旁白。規劃器(planner)收到的是一堆摘要,而非連貫的感官串流。Nemotron 3 Nano Omni 是 NVIDIA 嘗試將代理的「眼睛和耳朵」整合到一個單一、高效的感知與推理模型中:輸入視訊、音訊、圖像和文字;輸出文字。

NVIDIA 於 2026 年 4 月 28 日宣布此模型,將其定位為一個開放的全模態推理模型,適用於電腦使用、文件智慧和長影音理解等代理工作流程。

Share

覺得值得一看?分享給朋友。

以上為 AI 自動翻譯導讀。原文版權歸 The Sequence 所有, 建議透過「閱讀原文」前往原始網站,以取得最完整資訊並支持原作者。

Newsletter

不用每天追,AI 重點每週寄給你

43 個來源、每 2 小時更新,太多看不完。電子報每週挑最值得看的幾則,附上 Max 的看法。

每週一封。Email 只用來寄電子報,每封信都能一鍵退訂。