開源生態系正讓 AI 愛好者與開發者更容易在地端建構、客製化並執行功能日益強大的代理。
整個八月份，NVIDIA 將表彰推動在地 AI 發展的合作夥伴與開源社群，以及生態系中不斷湧現的模型、應用程式與工具。這包括 NVIDIA 最新的開源模型、軟體與開發者工具，以及加速運算、函式庫和教育資源，協助使用者輕鬆入門。
對於代理（agents）而言，這將是一個重要的月份。請持續關注這個特別版的 NVIDIA 在地 AI 部落格系列，未來幾週將陸續新增最新進展。
請在 X、Instagram、TikTok 和 Facebook 上追蹤 NVIDIA RTX Spark，並訂閱 RTX AI PC 電子報以獲取最新資訊。同時，您也可以在 LinkedIn 和 X 上追蹤 NVIDIA Workstation。
8 月 11 日（週二）上午 6:00 PT 🔗 NVIDIA 推出 Nemotron 3.5 Lightning，專為快速、專業的代理任務設計
今天，NVIDIA 透過 Nemotron 3.5 Lightning 擴展了其 Nemotron 3 模型家族。這是一個可客製化的開源 30B 混合專家（MoE）模型，專為常駐型代理（always-on agents）設計。
相較於同級的開源模型，Nemotron 3.5 Lightning 的 token 生成速度最高可提升四倍，完成任務所需時間則加快 30%。
由於 Nemotron 3.5 Lightning 採用開源權重，AI 愛好者與開發者可以利用自己的範例進行微調，使其更符合特定的任務、興趣與工作流程。例如，他們可以訓練模型來達成以下目標：
- 以偏好的風格寫作：在撰寫電子郵件、報告或其他文件時，遵循既定的語氣、格式和術語。
- 學習專業領域：更好地理解攝影、遊戲或 3D 設計等領域的語言和常見任務。
- 以特定方式編碼：在編寫、審查或重構程式碼時，遵循偏好的編碼慣例、框架和測試方法。
結合應用程式、檔案和其他工具的存取權限，這些經過微調的模型可以驅動更個人化的在地代理 AI 體驗。從協助管理電子郵件和行事曆的助理，到處理日常事務的智慧家庭代理，再到與開發者在地端程式碼庫上協同工作的編碼夥伴，都能實現。
NVIDIA 與 vLLM、Ollama、llama.cpp 和 LM Studio 合作，為 Nemotron 3.5 Lightning 模型提供最佳的在地部署體驗，讓開發者可以選擇 NVFP4 和 GGUF 格式的模型。Unsloth 也透過 Unsloth Studio 提供首日支援，提供優化和量化模型以實現高效的在地部署。
Nemotron 3.5 Lightning 可在地端運行於 NVIDIA RTX PC、NVIDIA DGX Spark 和 OEM GB10 系統，以及 NVIDIA Jetson 上，並可擴展至 RTX PRO 工作站、NVIDIA DGX Station 和 GB300 桌邊系統、資料中心和雲端環境。
隨著 Acer、ASUS、Dell Technologies、Exxact、GIGABYTE、HP、Lenovo、MSI 和 Supermicro 等廠商提供 NVIDIA Blackwell 系統，使用者可以根據自身需求選擇多種設備和外形尺寸。
隨著生成式 AI 的普及，企業正尋求在不犧牲尖端智慧的前提下，控制不斷上升的 token 成本的方法。NVIDIA NeMo Switchyard 是一個開源路由函式庫，它能根據準確性、速度和成本，自動將代理工作流程的每個步驟導向最適合的模型。它還賦予開發者在不同任務中跨模型和供應商工作的彈性。
內部基準測試顯示，NeMo Switchyard 透過在模型系統中路由每個步驟，有助於維持尖端水準的任務完成度，同時將基準測試完成成本降低至單獨使用 Opus 4.8 的約三分之一。NeMo Switchyard 已在 GitHub 上提供。
請造訪 Nemotron 3.5 Lightning、NeMo Switchyard 和 Jetson AI 技術部落格以開始使用。若要在邊緣端進行開發，請從 Jetson AI Lab 教學課程開始，並探索實際的 Jetson 專案。Nemotron 3.5 Lightning 也可透過 OpenRouter、build.nvidia.com 上的 NVIDIA NIM 微服務，以及廣泛的 NVIDIA 雲端合作夥伴、訓練後平台、推論平台和雲端服務供應商生態系取得。NeMo Switchyard 已在 GitHub 上提供。
