Nemotron 模型微調策略奏效，IOI 與 IMO 雙雙奪金

國際資訊奧林匹亞（IOI）和國際數學奧林匹亞（IMO）考驗著不同的技能。IOI 要求參賽者在嚴格的時間和提交限制下，用演算法和程式碼通過隱藏測試。IMO 則需要嚴謹的自然語言證明。在任何一項競賽中取得成功都非常困難，而兩者皆能成功則意義更為深遠。

我們最近的成果顯示，Nemotron 是建立世界級專業模型的強大且適應性強的基礎。我們的團隊從 Nemotron 3 開始，運用監督式微調（SFT）、強化學習（RL）以及回饋驅動的推論，成功打造出在 IMO 2026 和 IOI 2026 兩項賽事中均達到金牌水準的系統。

在 IOI 2026 競賽中，結合 SFT 和 GenCorrect 的 Nemotron-3-Ultra-CC 獲得 535.4 分（滿分 600），超越了金牌門檻 361.12 分，甚至高於人類最高分 498.27。而在 IMO 2026 競賽中，Nemotron 3 Ultra 透過結合 SFT 和 RL 檢查點的生成、驗證、精煉系統，獲得 30 分（滿分 42），也超過了官方金牌門檻 29 分。

IOI 的成績是在與人類參賽者相同的時間、網路存取和提交限制下，進行的即時前瞻性測試。這是一個非官方、無監督的基準測試，並未納入 IOI 官方排名。IMO 系統提交的證明則由官方 IMO 評審進行評分。

「易於微調」的意義不應僅限於讓檢查點可供訓練。它應該代表一個有能力的基礎模型，能夠透過清晰、可重複使用的「食譜」，適應要求嚴苛的領域。

在這兩個專案中，這個「食譜」包含四個部分：首先，從強大的 Nemotron 基礎模型開始。其次，策劃領域特定的問題和高品質的推理軌跡。第三，應用標準的後訓練方法，例如 SFT，並在適用時加入 RL。最後，將專業模型與一個推論迴圈結合，該迴圈能生成、評估並改進候選答案。

儘管訓練和推論的運行規模龐大，但其底層方法是熟悉且可重現的。我們不需要為每個挑戰都建立一個新的基礎模型，而是針對特定任務對 Nemotron 進行了專業化處理。

針對競技程式設計，我們策劃了 22,000 個問題，並生成了合成推理軌跡來訓練兩個專業模型。Nemotron-3-Nano-CC 總參數為 300 億，其中 30 億為活躍參數，同時接受了 SFT 和 RL 訓練。而 Nemotron-3-Ultra-CC 總參數為 5500 億，其中 550 億為活躍參數，則接受了 SFT 訓練。

IOI 2025 的進展清楚展現了專業化的價值。Nano 模型在後訓練前獲得 130 分，經過 SFT 後提升至 280 分，再經 RL 後達到 291 分。透過我們迭代的生成、評估、精煉策略 GenCorrect，它最終達到 468 分，超越了金牌門檻 438.3 分。Ultra-CC 則以相同的測試時策略獲得 502 分。

這些實驗也表明，適應性在不同規模的模型上不盡相同。SFT 為 Nano 模型帶來了大部分的提升，而 RL 則提供了較小但穩定的改進。對於更強大的 Ultra 模型，僅一個 SFT 訓練週期就足以在 IOI、ICPC 和 LiveCodeBench Pro 等多項基準測試中超越經過完整後訓練的 Nano 模型。

這項發現指導了用於 IOI 2026 的競賽專用 Ultra-CC 系統，該系統在 600 分中獲得了 535.4 分。

IMO 專案將相同的理念應用於奧林匹亞數學。我們從 Nemotron 3 Ultra 開始，訓練了一個使用 SFT 的專業模型，另一個則使用 RL。

SFT 語料庫包含 414,890 個經過品質篩選的範例，涵蓋 15,818 個獨特的證明問題。它不僅僅是教導最終答案，這些資料還涵蓋了證明生成、精煉、驗證和元驗證，因此模型學會了建構論證、識別不足、回應批評，並判斷證明是否完整。RL 模型則針對 9,597 個選自模型能力邊界附近的證明問題進行了訓練。

在開發實驗中，兩個經過後訓練的檢查點都優於通用模型。SFT 檢查點在第一輪搜尋中表現最強，而 RL 檢查點則取得了最佳的單一檢查點整體結果。它們的優勢是互補的，因此最終系統結合了這兩個專業模型以及通用模型。

對於每個 IMO 問題，模型會生成候選證明、評分、提出批評，並精煉最有潛力的嘗試。一個獨立的高運算階段會選出最終提交的證明。整個系統以自然語言運作，不依賴形式證明器、外部工具或網路存取。它在 42 分中獲得 30 分，包括六個問題中的四個獲得滿分，並超越了官方金牌門檻。

我們之前關於 IOI 2025 的 Hugging Face 文章展示了測試時運算如何能將開源模型推向金牌水準的表現。這次的新成果增加了一個重要部分：更好的專業化能為推論系統提供更好的候選答案、更精準的批評和更完善的精煉。

在 IOI 競賽中，GenCorrect 將微調帶來的收益轉化為多輪回饋後的更大改進。在 IMO 競賽中，使用互補的 SFT 和 RL 檢查點比單純從一個檢查點抽取更多樣本更有價值。在這兩種情況下，最佳結果都來自於將一個有能力的專業模型與一個能夠搜尋、驗證和改進的系統結合。

這種區別很重要。這些獎牌並非單靠微調或單靠暴力取樣就能產生。它們是透過共同設計模型、資料和推論迴圈而實現的。

我們希望這些成果不僅限於競賽應用。Nemotron Labs IMO 2026 系列匯集了 SFT 和 RL 檢查點、兩個訓練資料集，以及一個包含 200 個奧林匹亞級問題的新基準測試 Nemotron-IMO-Bench。IMO 論文描述了訓練方法和生成、驗證、精煉系統，而 NeMo-Skills 儲存庫則包含了 IMO 推論管線、提示詞、提交的證明和可重現的快速入門指南。

對於競技程式設計，Nemotron-3-Ultra-CC 模型已在 Hugging Face 上提供，IOI 論文則提供了訓練「食譜」和 GenCorrect 方法。IOI 評估和推論管線也已在 NeMo-Skills 中提供。

總而言之，IMO 和 IOI 為一個簡單的理念提供了極具說服力的證據：Nemotron 可以被微調成世界級的領域專家，然後與透明的推論工作流程結合，以解決人類競賽前沿的問題。

我們很期待看到 Hugging Face 社群接下來會創造出什麼。