擴展印度語言預訓練：2.8 兆詞元與開放資料生成管線

NVIDIA與印度理工學院馬德拉斯分校及其AI4Bharat實驗室合作，推出Nemotron-pretraining-Indic-v1，包含約2.8兆詞元，涵蓋22種印度語言。該資料集將與其開放、GPU加速的資料生成管線一同發布。這22種語言是印度憲法中列出的語言，是97%印度人（根據2011年人口普查，近12億公民）的第一語言。

此發布為模型建構者提供了重要的印度語言預訓練新資源。該管線捕捉了完整的生成方法，包括提示詞、LLM工作流程和品質檢查，因此開發者可以將其應用於自己的原始資料，並根據需求生成更多資料。

印度理工學院馬德拉斯分校的印度語言研究實驗室AI4Bharat，致力於為印度語言建構開源資料集和模型。其資源，例如包含22種印度語言的開放預訓練語料庫Sangraha，為開放的印度語言模型研究奠定了基礎。

我們這次的聯合開源發布，代表著開放合成印度語言訓練資料的實質性擴展，將提供給社群使用。它將廣泛的精選英文材料，包括數學、程式碼和問答內容，翻譯成印度語言，為團隊提供更多訓練材料，以建構能夠解釋技術概念、解決問題並以這些語言回答問題的模型。每筆記錄都可以追溯到精選的原始文件，並且每個輸出都與其輸入進行檢查，確保合成文本基於真實資訊。

AI4Bharat負責人、入選2025年TIME100 AI榜單的Mitesh Khapra指出核心問題：印度語言技術落後於英文，因為「我們沒有足夠的印度語言資料」。我們正透過提供更多資料，以及一個用於生成更多資料的開放方法來回應這一需求。

該語料庫也考慮了人們的書寫方式。它包含所有22種語言的本地文字資料，以及12種語言的羅馬化文本，涵蓋34種語言文字配置。我們的工作流程結合了文件級翻譯、品質評估和有針對性的修復，並進行檢查以保留方程式、表格和程式碼等內容。這些資料補充了自然編寫的印度語言文本，後者對於當地知識和文化背景仍然至關重要。

我們分享開放的生成方法，以便社群不僅可以重現資料，還可以進一步推動這項工作。團隊可以直接使用該語料庫，調整提示詞和品質檢查，或將自己的原始文件帶入工作流程。透過開放資料和流程，我們旨在使大規模印度語言資料生成更易於存取，並使更多開發者能夠為所有印度語言建構更強大的模型做出貢獻。

Nemotron 3.5 Super VL的持續預訓練增加了100億個印度語言詞元，這些詞元來自該語料庫的12種語言子集和自然印度語言文本。我們關於該模型的技術報告涵蓋了完整內容。我們計劃在未來的Nemotron模型中以此語料庫為基礎。

語料庫包含2,601.0億個本地文字詞元和224.6億個羅馬化詞元。詞元計數使用Gemma-4分詞器。文件記錄包括共享來源的翻譯和文字變體，它們不是獨特英文文件的計數。語料庫有兩組語言配置：本地文字和羅馬化資料，包括孟加拉語、古吉拉特語、印地語、卡納達語、馬拉雅拉姆語、馬拉地語、尼泊爾語、奧迪亞語、旁遮普語、泰米爾語、泰盧固語和烏爾都語。

僅限本地文字資料則有阿薩姆語、博多語、多格里語、克什米爾語、康卡尼語、邁蒂利語、曼尼普爾語、梵語、桑塔利語和信德語。

這裡的本地文字描述的是書寫系統，文本仍然是從英文翻譯而來。羅馬化是指用拉丁文字書寫的印度語言文本，而不是英文翻譯。對於這12種雙文字語言中的每一種，羅馬化涵蓋了部分已接受的本地文字翻譯。這種區別在建構訓練混合時很重要。本地文字和羅馬化記錄提供了不同的文字曝光，但可以表達相同的潛在內容。

詞元計數描述的是保留的語料庫，包括已接受的重寫，而不是訓練運行的詞元預算。計數也取決於使用的分詞器，因此語料庫庫存和訓練詞元計數應分開閱讀。

為了建構這個語料庫，我們從15個Nemotron-CC-v2子集的文件開始，這些子集涵蓋了網路文本、問答材料、數學、程式碼和其他專業內容。我們使用NVIDIA的開源合成資料生成框架NeMo Data Designer來執行翻譯、品質檢查和有針對性的修復。在整個工作流程中，我們保留每個來源識別碼，以便開發者可以將輸出追溯到其原始文件。這種清晰的來源資訊是使開放資料易於審核和建構的實用性之一。

對於這12種語言，我們完整翻譯文件，以便模型可以使用跨段落、表格和方程式的上下文。我們透過比較模型在完整文件上的表現，檢查翻譯品質和技術內容的保留情況，從而選擇了Gemma-4-31B-it。我們的提示詞區分了需要翻譯的散文和需要保留的內容，包括程式碼、方程式、URL和格式。

翻譯後，我們使用相同的模型根據其英文來源評估每個輸出。一個受多維品質指標（MQM）啟發的評分標準，這是一個用於按類型和嚴重程度分類翻譯錯誤的開放框架，涵蓋了意義、流暢性、術語、風格和格式。我們只保留得分至少為100分中75分（這是評分標準分數，而非準確度百分比）的輸出。

對於得分較低的輸出，我們使用評估回饋來指導修復，然後根據相同的閾值重新評估它們。這個過程在本地文字和羅馬化資料中恢復了438.4億個詞元，這些詞元已包含在語料庫總數中。抽樣的人工審查和故意引入錯誤的測試有助於識別遺漏和殘留的英文，從而改進我們的提示詞和檢查。

已接受的本地文字翻譯也為羅馬化資料提供了起點。我們將一部分轉換為拉丁文字，並檢查每個結果與其本地文字輸入的一致性。這將翻譯與文字轉換分開。在我們最初的人工比較中，這種兩步驟方法比直接從英文生成羅馬化文本產生更少的幻覺添加和更少的殘留英文。

對於其他10種語言，我們調整了工作流程，以解決在比較中觀察到的長文件品質和文字穩定性問題。我們使用Indic Translate進行翻譯，這是一個來自Bodhan AI（印度理工學院馬德拉斯分校孵化的AI教育非營利中心）的英文和22種印度語言的文件級翻譯模型。

然後，Gemma-4-31B-it根據其英文來源評估每個翻譯。對於8種語言，我們保持了整文件方法。對於較長的桑塔利語文件，我們翻譯重疊的視窗並重建文件；對於曼尼普爾語，我們在轉換為其本地文字Meitei Mayek之前，先翻譯成孟加拉文字。

這些工作流程保留得分至少為100分中75分的輸出，並且僅生成本地文字資料，不進行基於回饋的重寫。

Nemotron 3.5 Super VL技術報告比較了印度語言持續預訓練（CPT）階段之前和之後的檢查點。配置的預算為1000億個訓練詞元，其中10%（100億個詞元）分配給合成和自然印度語言文本的混合。其餘90%保持了先前訓練混合的相對比例。

在所有五個報告的印度語言知識和推理基準測試中，得分均有所提高：MILU、Indic MMLU-Pro、Indic ARC-Challenge、Indic ARC-Easy和Indic GSM8K。這些增益支持了合成和自然印度語言CPT的組合方法，同時將其他模型和語言的混合選擇留待進一步研究。

配套的印度語言報告檢查了來源混合、合成資料池大小以及使用12種語言組的第一批接受資料的文字覆蓋率。評估完整的語料庫，包括恢復的重寫和另外10種語言，仍然是這些受控研究的下一步。

除了CPT階段的結果，發布的模型與上一代模型相比如何？Nemotron 3.5 Super VL與Nemotron 3 Super在印度語言任務表現和語言品質方面進行了比較。這些結果反映了發布模型的完整訓練管線，包括印度語言CPT和後訓練。

Nemotron 3.5 Super VL在所示的六個任務基準測試中的五個上得分更高，涵蓋了知識、推理、數學、程式碼和翻譯。在IFEval 1.5上的指令遵循下降了2.04點。它還在所有四個IndiVibe維度上有所改進：實用性、流暢性、語言和文字忠實度以及適當的冗長度。

IndiVibe是Sarvam AI的開放基準測試，用於評估印度語言的助理式提示詞。總體而言，這些評估檢查了模型的能力以及它在印度語言中的溝通能力。

從模型所需的語言和文字開始，檢查樣本，並在訓練前審閱資料集卡片和許可證。配置使用語言、文字和地區標籤：例如，hi-Deva-IN表示天城體印地語，而hi-Latn-IN表示羅馬化印地語。下面的範例要求從資料集卡片中獲取儲存庫ID，然後發現可用的分割並串流樣本。Hugging Face Datasets支援串流，以便讀者可以檢查記錄。