NVIDIA Nemotron 3.5 Transcribe：可提示、可適應的智慧多語言語音轉錄模型

一個開源模型，能進行多語言語音轉錄、說話者歸因、翻譯及音訊問答，並在排行榜上名列前茅。它還附帶開源的 Granary v2 資料管線和微調方法，方便使用者進行客製化。

語音轉錄即使能捕捉每個口說詞彙，使用者或應用程式仍可能困惑於誰說了什麼、如何翻譯，或如何格式化特定領域的術語。多語言通話、快節奏會議和醫療口述記錄，各自需要不同的輸出：可能是翻譯、說話者標籤，或是正確拼寫的醫學術語。

NVIDIA Nemotron 3.5 Transcribe 是一個開源、可透過提示詞控制的模型，能將錄製的語音轉換為有用的文字，現已在 Hugging Face 和 ModelScope 上線。它將語音轉錄、說話者歸因（diarization）、翻譯和音訊問答整合到一個檢查點中：支援 40 種語言的轉錄，其中 31 種可英譯或譯英，並能歸因 13 種語言的說話者。

此模型可處理長達一小時的錄音，並標記最多八位說話者。開發者能透過自然語言引導輸出，選擇音訊處理位置，並根據特定領域詞彙和口音調整辨識。

Transcribe 在 Hugging Face Open ASR 英文排行榜的開源模型中名列第一，並位於 Artificial Analysis 的準確度與活躍參數效率前沿。在說話者歸因方面，它在 David AI 的 21 種語言說話者分離排行榜上錯誤率最低，並在 VoiceArena 的 14 個系統比較中排名第一。

此模型可在單一 NVIDIA GPU 上運行，從 DGX Spark 到 Blackwell 資料中心系統皆可支援。

Granary v2 的多語言資料（可在 Hugging Face 和 ModelScope 上取得）和可重複使用的策展管線，結合 NeMo Speech 微調工具，將提示詞層級的控制延伸到訓練階段。開發者可以定義所需的書面形式，並根據應用程式遇到的語音來調整模型。在一項醫療案例研究中，微調使未參與訓練的說話者之詞錯誤率（WER）相較於最佳提示詞降低了 45.8%。

透過自然語言引導轉錄與分析

同一個檢查點可以根據不同的指令，將一份會議錄音轉換成多種輸出：

「轉錄這段錄音並標記每位說話者。」

「將這段音訊翻譯成英文。」

「這次會議做了哪些決定？」

請觀看下方影片，體驗此模型的實際應用，它處理了 1940 年經典瘋狂喜劇《女友禮拜五》中的一個著名場景，該電影以其快節奏、大量重疊的對話而聞名。

Nemotron 3.5 Transcribe 為《女友禮拜五》（1940）的一個場景加上字幕，並標記說話者，包括重疊的對話。

對於不熟悉的術語，可以在訓練前先嘗試提供上下文。例如，在醫療環境中：

以原始語言轉錄這段醫療討論。可能的術語：HbA1c、metformin。僅在音訊中得到支持時使用這些術語。保留標準醫學拼寫，並以傳統書面形式書寫數字。

模型卡中包含推薦的預設值，包括音訊問答的推理設定，以及完整的提示詞指南和任務與語言對應表。不同任務的語言支援有所差異，音訊問答功能則以英文訓練。模型也支援詞級時間戳記。如同任何語音模型，請務必核對錄音中的姓名、說話者變更和回答。

從即時課程到持久學習。Agora 是一個為應用程式中的即時對話提供語音和視訊平台的公司，他們在課堂演示中使用了詞級時間戳記。Nemotron 3.5 Transcribe 將錄製的課程轉換為文字稿，並與重播同步顯示，讓學生能清楚看到說了什麼以及何時說的。Agora 的部落格詳細介紹了他們如何實現這一功能。

從語音轉錄到說話者歸因，在排行榜上屢獲佳績

在開源模型中，Transcribe 在「說了什麼」方面表現領先；而在「誰說了」方面，它在兩項說話者歸因基準測試中直接奪冠。

Hugging Face Open ASR 排行榜。此排行榜以詞錯誤率（WER）衡量公開測試集上的轉錄準確度，分為三個類別：

英文：在開源模型中排名第一，平均詞錯誤率為 5.33%（圖一）。

多語言：在七種語言中平均詞錯誤率為 4.62%，是模型卡中 Open ASR 比較評估的開源模型中最低的。

長篇：平均詞錯誤率為 10.98%，也是該比較中最低的。

圖一。Nemotron 3.5 Transcribe 在 Hugging Face Open ASR 英文排行榜的開源模型中排名第一，平均詞錯誤率為 5.33%，不含 API 模型。較低的詞錯誤率表示轉錄錯誤較少。

Artificial Analysis 語音轉文字排行榜。Artificial Analysis 獨立地根據其詞錯誤率指數 AA-WER 對語音轉文字模型進行排名。Nemotron 3.5 Transcribe 在開源模型中以 2.8% 的 AA-WER 並列第一，其活躍參數約為 40 億，而與之並列的模型則為 240 億。

在構成 AA-WER 指數 50% 的 AA-AgentTalk 語音代理語音測試集上，Transcribe 的詞錯誤率為 1.8%，優於次佳開源模型的 2.3%。Transcribe 將其語音編碼器與混合 Mamba-Transformer 專家混合語言模型配對，因此其 300 億參數中，每個 token 只有約 40 億參數是活躍的。

這使其位於 Artificial Analysis 準確度與活躍參數的開源 Pareto 前沿。在 AA 的所有模型圖表中，它領先於多個廣泛使用的專有語音 API。

圖二。以約六分之一的活躍參數達到領先的 AA 準確度：Nemotron 3.5 Transcribe 以約 40 億活躍參數實現 2.80% 的 AA-WER。

跨語言和重疊語音的說話者歸因。Sortformer 說話者提示與聲學特徵一同傳遞到語言模型，因此 Transcribe 可以在生成過程中標記每個輪次，而無需僅依賴後續步驟將說話者與詞彙關聯。

David AI DAI-ASR-I18N 排行榜。在 David AI 的 DAI-ASR-I18N 語音轉錄與說話者歸因綜合類別中，Transcribe 在評估的開源模型中排名第一，總體排名第二。在該基準測試的說話者分離類別中，它在 21 種語言中評估「誰何時說話」，在測試的 14 個系統中具有最低的說話者分離錯誤率（DER），略優於 NVIDIA 專用的 Nemotron 3 Diarization 模型。

圖三。NVIDIA 模型在 David AI 的多語言說話者分離排行榜上佔據前兩名：Nemotron 3.5 Transcribe 以 21 種語言的 18.26% 總體說話者分離錯誤率（DER）排名最低，其次是 Nemotron 3 Diarization 的 18.38%。DER 衡量說話者時間錯誤，越低越好。

VoiceArena Diarization-Bench。在 VoiceArena 的英文完整會話基準測試中，Transcribe 在 14 個系統中實現了最低的串聯最小排列詞錯誤率（cpWER），並在面對面和線上環境中均排名第一。它也是刪除詞彙最少的模型：刪除率為參考詞彙的 8.32%，而中位數約為 31%。

圖四。NVIDIA 模型在 VoiceArena 的 14 個系統比較中佔據前兩名：Nemotron 3.5 Transcribe 以 32.4% 的 cpWER 領先，其次是結合 Nemotron 3 Diarization 的 NVIDIA Multitalker Parakeet，為 34.2%。

Diarization-Bench v1 涵蓋英文完整會話、重疊語音和 2-8 位說話者。cpWER 計算匹配說話者標籤後的詞錯誤，越低越好。

更多評估。Ocular AI 的 Converse-STT 評估將 Transcribe 列為頂級開源模型。Josh Talks 的 Voice of India 排行榜則報告了 Transcribe 在印度語言上的表現。

從邊緣設備到資料中心皆可運行。Transcribe 可以在單一 NVIDIA GPU 上運行，從 Jetson AGX Thor 和 DGX Spark 到 Blackwell 資料中心 GPU 均可支援。在配備 NVFP4 精度的單一 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 上，它能在三分鐘內處理 100 小時的音訊，此數據是在高併發下以 30 秒音訊片段測量所得。

今天即可使用 vLLM 部署此檢查點，或透過 NeMo-Speech.cpp 在本地運行。Transcribe 專為錄製音訊設計，不適用於即時串流。

專業錄音仍可能需要適應特定領域詞彙和轉錄慣例。Granary v2 和 NeMo Speech 微調工具正是為了解決這個問題，從 Transcribe 背後的資料開始著手。

Granary v2：Transcribe 背後的開源資料策展管線

一個可透過提示詞控制的語音模型需要具有明確格式目標的訓練資料。Granary v2 是 Hugging Face 和 ModelScope 上 Nemotron 語音集合的一部分。它使用 NVIDIA NeMo Curator 構建，其可重複使用的管線為 Nemotron 3.5 Transcribe 的訓練準備了多語言語音資料，產生了對齊的轉錄變體、任務標籤和可檢查的品質元資料。

公開的清單涵蓋 48 種語言和 16 個來源語料庫的 463,062 小時資料，相較於 Granary v1 的 25 種語言有所增加。這些數字描述的是資料集發布情況，而非 Transcribe 的完整訓練混合或其取樣權重。

Granary v2 為每段錄音生成三種轉錄形式（表一），與開發者可透過提示詞從 Transcribe 請求的逐字和簡潔風格相同。除了轉錄，此管線還能產生簡短的音訊字幕、借詞的語碼轉換還原、基於語音的問答對、上下文 ASR 偏置術語，以及帶有自動品質評分的翻譯。

表一。Granary v2 針對相同語句的訓練目標。

此管線分為四個可重複使用的階段：

1. 音訊準備（元資料）：分割原始或長篇音訊，追蹤整個錄音中的說話者，並標記聲學事件和語言。由於 Granary v2 的來源已完成分割，因此本次發布跳過了此階段。

2. 語音轉錄（ASR）：將每種語言導向主要和備用 ASR 模型，當主要模型未能通過幻覺檢查時則切換至備用。人工參考轉錄有助於保留可信的拼寫，同時加入口語形式和語音不流暢處。

3. 任務標籤生成（文字）：推導轉錄變體，然後檢查字元率、幻覺模式以及模型或人工參考的一致性。只有被接受的記錄才會獲得上下文 ASR 術語和翻譯。

4. 高傳真（HiFi）：過濾掉嘈雜、截斷或包含多位說話者的片段，保留一小部分高品質錄音，用於 ASR 以外的用途。對於 VoxPopuli 資料集，它將 22 種歐洲語言的 35.4 萬小時資料減少到 11.1 萬小時。

圖六。Granary v2 資料策展管線，展示一個樣本從原始音訊經過元資料、ASR 和文字階段，最終成為訓練範例的流程。

開發者可以使用 Ray 和 NVIDIA Dynamo 後端，在自己的錄音或授權的公開語料庫上運行 NeMo Curator 管線，或者基於 Granary v2 的公開清單進行開發。這些清單包含三種轉錄形式（tn_raw、itn_raw 和 itn_clean）、上述標籤、實體提示、衍生的指令對、來源資訊以及每條記錄的品質標誌。請根據每個語料庫的原始授權單獨下載來源音訊，並遵守發布的條款。

調整辨識以適應關鍵詞彙

首先，使用一個開發集提示詞，指定語言、文字和轉錄格式。在下面的案例研究中，提示詞中明確指出英文和拉丁字母，將完整基準測試的詞錯誤率（WER）從 30.8% 降低到 23.8%。對於仍然存在的領域錯誤，NeMo Speech 微調工作流程會將代表性語音與明確的書面目標配對。

NeMo Speech 醫療 ASR 案例研究展示了在 Eka Care 的印度醫生和醫學生錄音開放基準測試上的進展，該基準測試包含 3,619 個音訊片段，且沒有指定訓練分割。該研究從生成的醫療文本和公開醫學目錄中構建適應性資料，然後結合了約 153 小時的合成語音、29 小時來自 Common Voice 的帶口音英文，以及 63 小時來自 MultiMed 的醫療錄音。

圖七。在 Eka Care 印度醫療語音基準測試的完整測試集上，更好的提示詞將詞錯誤率（WER）從 30.8% 降低到 23.8%，而微調則將其進一步降至約 11.8%。