輝達全新 Nemotron 3 Nano Omni 的有趣之處,並非它「具備多模態能力」。我們已經有許多模型能為圖像加上說明、轉錄語音、解析 PDF、回答關於影片的問題,以及在圖形使用者介面(GUI)中操作。Nemotron Omni 的獨特之處在於,它旨在讓這些多樣化的模型感覺像是一個單一的整體。
現今的多模態代理(agent)堆疊,通常像是一台魯布·戈德堡機械:音訊傳送給自動語音辨識(ASR)模型,螢幕截圖傳送給視覺語言模型(VLM),PDF 被渲染成圖像或透過光學字元辨識(OCR)轉換成文字,影片則被取樣成影格,然後由一個語言模型嘗試將這些輸出拼接起來。


