Mistral AI 推出 Voxtral 3：多語言即時語音代理 SDK，提供高精度轉錄與自然語音合成

Voxtral 3 推出尖端語音代理 SDK 和最先進的語音模型，專為 50 多種語言的即時、多步驟對話而設計。它結合了精確的轉錄、具情感適應性的自然語音合成，以及深度工具整合，實現無縫的工作流程自動化。Voxtral 3 可透過 Mistral 的歐盟託管 API 或自行部署，確保資料主權，同時為客服中心、虛擬助理和免手持副駕駛提供低延遲、擬人化的互動。

語音轉錄和語音生成技術已取得長足進步，但要建立能聽、能推理、能互動並處理複雜工作流程的端到端語音代理，仍然十分困難。一個可靠的語音代理需要同時做到四件事：在不同語言、口音、說話者和打斷情況下準確聆聽；深入理解使用者在特定情境下的意圖；自然地表達情感和語氣；以及透過連接的系統執行多步驟動作。讓這四者在即時環境中可靠地協同運作，仍然是一項挑戰。

為了解決這些問題，我們推出了 Voxtral 3：一個全新的最先進語音轉文字（speech-to-text）和文字轉語音（text-to-speech）模型系列，以及一個語音代理 SDK。它將聆聽、思考、工具呼叫和說話整合到單一的即時串流管道中。

Voxtral 3 旨在創造自然的對話體驗，從客服中心代理和服務台，到虛擬助理和免手持副駕駛。憑藉對數十種語言的支援、富有表現力的語音、複雜的推理能力，以及與您自有工具和資料的深度整合，使用 Voxtral 建構的代理可以解釋細微的意圖、處理複雜的請求，並在連接的系統中執行多步驟動作。

與其他 Mistral 模型一樣，Voxtral 3 系列專為主權部署而設計。它今天即可透過 Mistral 的歐盟託管 API 或在您自己的基礎設施上自行部署，讓組織能夠控制音訊的處理位置、資料的處理方式以及對話是否保留。

主要特色

Voxtral Small Transcribe 3 語音轉文字模型在 50 多種語言中提供高精度轉錄。它在多語言轉錄方面達到最先進水準，能識別說話者（說話者分離，diarization），並透過關鍵詞組提高準確性（上下文偏置，context-biasing）。它還能偵測說話者何時結束發言，讓代理能夠即時回應（語音結束偵測，end-of-turn detection）。

Voxtral Mini TTS 3 文字轉語音模型引入了新語音，能根據對話上下文調整情感、語速和語氣，支援 35 種以上語言和 50 種以上方言。

新的語音代理 SDK 將聆聽、推理、工具呼叫和說話整合到即時體驗中。代理可以在電話或網路上的即時對話中檢索資訊、與業務系統互動並完成任務。

對於基本語音複製無法滿足的專業應用場景，Voxtral 的 Pro Voice 適應功能僅需 30 分鐘的音訊，即可跨語言重現說話者獨特的特徵、情感範圍和說話風格。

您可以使用 Mistral 的歐盟託管 API，或將 Voxtral 3 部署在您自己的基礎設施上。將敏感對話保留在您的環境中，並控制是否保留任何音訊。

Voxtral Transcribe 3 支援 50 多種語言，並達到最先進的準確性。它在轉錄、說話者分離（誰何時說話）和上下文偏置功能方面代表著一個重要的里程碑。支援的語言列表已擴展到 50 種，包括 24 種歐盟官方語言以及許多資源較少的亞洲和印度語言。

Small 版本在說話者分離和多語言轉錄方面取得了最先進的成果，包括英語、法語和西班牙語。它超越了 Whisper、Scribe v2 和 Gemini 3.5 Transcribe。Mini 版本擁有 40 億參數，能以每分鐘 0.0035 美元的價格實現快速準確的轉錄。

這兩種模型都支援上下文偏置，可以提供關鍵詞和自由形式的文本來偏置轉錄，提高技術術語的召回率。這使得它們可以在生產環境中使用特定領域的詞彙，而無需進行微調。

Voxtral Realtime Transcribe 3 是一個為代理應用場景而建構的即時轉錄模型。它在超過 35 種語言中實現了低於 500 毫秒延遲的高品質轉錄，包括說話者分離和上下文偏置功能。

語音結束預測功能獲得原生支援，它結合了聲學和語義資訊，能準確預測使用者何時結束發言。這使得低延遲語音代理應用成為可能，同時最大限度地減少使用者被過早打斷時的錯誤截斷率。

Voxtral Mini TTS 3.0 能以您或客戶品牌的聲音和當地口音，帶著正確的情感回應。它提供批次和即時版本，在 35 種以上語言和 50 種以上方言中實現了最先進的表達能力和指令遵循。Voxtral Speech 3 每百萬字元費用為 13 美元，運行成本低於 OpenAI TTS-1、Deepgram、ElevenLabs Flash 和 Gemini Flash 等可比模型。

該語音模型能更好地隱式解釋上下文的語義，在多種情感和語言中產生自然的語音。新增和改進的功能包括：從 30 多分鐘的音訊樣本進行語音複製、自訂提示詞指令遵循（IF）、上下文 TTS 和詞彙庫，所有這些都旨在提高語音部署的可靠性。明確指令遵循的變數包括情感、語速和語氣。

所有聽起來自然的語音都依賴於情感，情感決定了其韻律、節奏、語速、語氣和轉變。Voxtral TTS 能原生解釋提示詞的文本上下文來確定情感和語音風格，這使得模型在無需額外指令或語音提示的情況下，本質上就能更好地產生自然語音。