Jack Dorsey 旗下的 Block 公司，從其研究實驗室推出了一款名為 Dessa 的語音模型，它能在本地運行並發出極其逼真的人聲，包含笑聲、停頓和哭泣等情感表達。Dessa 是一個全雙工模型，能同時說話和聆聽，且聲稱情感已內建於模型中，而非透過標籤驅動。目前該模型尚未公開，Block 正尋求安全研究人員進行測試，以防語音代理可能欺騙對話者的情境。
Jack Dorsey 旗下的 Block 公司，從其研究實驗室推出了一款新的語音模型。這款名為 Dessa 的模型可在本地運行，並能發出包含笑聲、停頓和哭泣等表情的聲音，聽起來異常逼真。該公司表示，Dessa 完全以人類語音進行訓練，並且只需單一 NVIDIA GPU 即可運行。
Dessa 是一個全雙工模型，這表示它能同時說話和聆聽，就像 OpenAI 今年稍早發布的 GPT-Live 模型一樣。通常，語音模型會與大型語言模型配對以進行知識檢索。Block 表示，Dessa 的知識來源於其所擁有的對話數據。
Jack Dorsey 在 X（前稱 Twitter）上表示：「我們相信語音是與智慧互動最自然的方式，因此我們創造了 Dessa，這是迄今為止最真實的全雙工語音模型。」他補充道：「與它交談感覺就像與真人對話，充滿情感、細微差別、停頓和自然的語調。」
Block 指出，目前的語音模型聽起來可能不自然且令人惱火，因為它們的語音生成流程中包含文字。許多模型，例如 ElevenLabs v4 或 Fish Audio Drama 3，都使用語音標籤來驅動語音生成中的情感。Dorsey 的公司聲稱，情感已內建於 Dessa 模型中，但目前尚不清楚這種情感是否由某種標籤來引導。
該公司在一篇部落格文章中表示：「與目前的語音 AI 互動簡直糟透了。它將你的聲音轉換成文字，卻丟失了文字本身無法承載的大量資訊。世界上最強大的 AI 無法聽出你的感受。我們認為這很荒謬，會導致更糟糕的體驗，並可能帶來危險。」
該公司的研究人員發布了多個與 Dessa 對話的範例，其中語音助理展現了不同的聲音、語調和情感。例如，在一段對話中，機器人說它工作累了，而此時它的聲音聽起來確實很疲憊。
Ragavan Thurairatnam 在 X 上發文表示：「我們打造了第一個能進行真實對話的 AI 模型，它完全以語音進行訓練！Dessa 是一個全雙工的語音對語音模型，你可以在消費級 GPU 上運行它。這對語音領域來說，是 GPT-3 時刻。」
在另一個範例中，機器人談到有人讓它感到舒適，同時聲音充滿情感，幾乎要崩潰。
還有一個範例展示了 Block 團隊成員與語音助理玩遊戲的場景。
該公司表示，Dessa 模型可以在 MacBook M4 Max 或更高階的消費級電腦上本地運行。然而，目前 Dessa 尚未對外公開，Block 已發出呼籲，邀請安全研究人員測試該模型。這可能是為了測試語音代理可能欺騙對話者的情境。
Block 的主要業務是金融，並向小型企業銷售解決方案。旗下的 Square 已經使用語音 AI 來處理訂單。但有了這個可以在裝置上運行的自有語音模型，Block 就能以更低的成本，為更多的商業和消費者體驗提供支援。
覺得值得一看？分享給朋友。
以上為 AI 自動翻譯導讀。原文版權歸 TechCrunch AI 所有， 建議透過「閱讀原文」前往原始網站，以取得最完整資訊並支持原作者。
43 個來源、每 2 小時更新，太多看不完。電子報每週挑最值得看的幾則，附上 Max 的看法。
