跳到主要內容
maxstudioNews
產品NVIDIA Blog約 4 分鐘

NVIDIA 攜手在地 AI 社群,加速開源模型與智慧代理發展

NVIDIA 在八月份與在地 AI 社群合作,共同推動開源模型與智慧代理的發展。其中,NVIDIA 推出了 Nemotron 3.5 Lightning 模型,這是一個可客製化的 30B 混合專家模型,專為常駐型代理設計,能提供更快的生成速度並支援在地微調。此外,NVIDIA 也發布了開源路由函式庫 NeMo Switchyard,協助企業在控制成本的同時,有效利用多個模型來完成代理任務。

NVIDIA 攜手在地 AI 社群,加速開源模型與智慧代理發展
圖片來源:NVIDIA Blog

開源生態系正讓 AI 愛好者與開發者更容易在地端建構、客製化並執行功能日益強大的代理。

整個八月份,NVIDIA 將表彰推動在地 AI 發展的合作夥伴與開源社群,以及生態系中不斷湧現的模型、應用程式與工具。這包括 NVIDIA 最新的開源模型、軟體與開發者工具,以及加速運算、函式庫和教育資源,協助使用者輕鬆入門。

對於代理(agents)而言,這將是一個重要的月份。請持續關注這個特別版的 NVIDIA 在地 AI 部落格系列,未來幾週將陸續新增最新進展。

請在 X、Instagram、TikTok 和 Facebook 上追蹤 NVIDIA RTX Spark,並訂閱 RTX AI PC 電子報以獲取最新資訊。同時,您也可以在 LinkedIn 和 X 上追蹤 NVIDIA Workstation。

8 月 11 日(週二)上午 6:00 PT 🔗 NVIDIA 推出 Nemotron 3.5 Lightning,專為快速、專業的代理任務設計

今天,NVIDIA 透過 Nemotron 3.5 Lightning 擴展了其 Nemotron 3 模型家族。這是一個可客製化的開源 30B 混合專家(MoE)模型,專為常駐型代理(always-on agents)設計。

相較於同級的開源模型,Nemotron 3.5 Lightning 的 token 生成速度最高可提升四倍,完成任務所需時間則加快 30%。

由於 Nemotron 3.5 Lightning 採用開源權重,AI 愛好者與開發者可以利用自己的範例進行微調,使其更符合特定的任務、興趣與工作流程。例如,他們可以訓練模型來達成以下目標:

  • 以偏好的風格寫作:在撰寫電子郵件、報告或其他文件時,遵循既定的語氣、格式和術語。
  • 學習專業領域:更好地理解攝影、遊戲或 3D 設計等領域的語言和常見任務。
  • 以特定方式編碼:在編寫、審查或重構程式碼時,遵循偏好的編碼慣例、框架和測試方法。

結合應用程式、檔案和其他工具的存取權限,這些經過微調的模型可以驅動更個人化的在地代理 AI 體驗。從協助管理電子郵件和行事曆的助理,到處理日常事務的智慧家庭代理,再到與開發者在地端程式碼庫上協同工作的編碼夥伴,都能實現。

NVIDIA 與 vLLM、Ollama、llama.cpp 和 LM Studio 合作,為 Nemotron 3.5 Lightning 模型提供最佳的在地部署體驗,讓開發者可以選擇 NVFP4 和 GGUF 格式的模型。Unsloth 也透過 Unsloth Studio 提供首日支援,提供優化和量化模型以實現高效的在地部署。

Nemotron 3.5 Lightning 可在地端運行於 NVIDIA RTX PC、NVIDIA DGX Spark 和 OEM GB10 系統,以及 NVIDIA Jetson 上,並可擴展至 RTX PRO 工作站、NVIDIA DGX Station 和 GB300 桌邊系統、資料中心和雲端環境。

隨著 Acer、ASUS、Dell Technologies、Exxact、GIGABYTE、HP、Lenovo、MSI 和 Supermicro 等廠商提供 NVIDIA Blackwell 系統,使用者可以根據自身需求選擇多種設備和外形尺寸。

隨著生成式 AI 的普及,企業正尋求在不犧牲尖端智慧的前提下,控制不斷上升的 token 成本的方法。NVIDIA NeMo Switchyard 是一個開源路由函式庫,它能根據準確性、速度和成本,自動將代理工作流程的每個步驟導向最適合的模型。它還賦予開發者在不同任務中跨模型和供應商工作的彈性。

內部基準測試顯示,NeMo Switchyard 透過在模型系統中路由每個步驟,有助於維持尖端水準的任務完成度,同時將基準測試完成成本降低至單獨使用 Opus 4.8 的約三分之一。NeMo Switchyard 已在 GitHub 上提供。

請造訪 Nemotron 3.5 Lightning、NeMo Switchyard 和 Jetson AI 技術部落格以開始使用。若要在邊緣端進行開發,請從 Jetson AI Lab 教學課程開始,並探索實際的 Jetson 專案。Nemotron 3.5 Lightning 也可透過 OpenRouter、build.nvidia.com 上的 NVIDIA NIM 微服務,以及廣泛的 NVIDIA 雲端合作夥伴、訓練後平台、推論平台和雲端服務供應商生態系取得。NeMo Switchyard 已在 GitHub 上提供。

Share

覺得值得一看?分享給朋友。

以上為 AI 自動翻譯導讀。原文版權歸 NVIDIA Blog 所有, 建議透過「閱讀原文」前往原始網站,以取得最完整資訊並支持原作者。

Newsletter

不用每天追,AI 重點每週寄給你

43 個來源、每 2 小時更新,太多看不完。電子報每週挑最值得看的幾則,附上 Max 的看法。

每週一封。Email 只用來寄電子報,每封信都能一鍵退訂。