在金融領域,由於嚴格的隱私法規、合規要求以及對進階領域專業知識的需求,真實世界數據的利用面臨重大限制。在此背景下,金融領域的代理式 AI 開發需要合成資料,以避免使用真實數據的風險,同時能反映人口統計、家庭結構和資產狀況,進而重現多樣且真實的金融情境。
為應對這些挑戰,Elith 和 NVIDIA 共同發布了 Nemotron-Personas-Finance-Japan,這是開源人物設定資料集「Nemotron-Personas-Japan」的金融領域擴展。據我們所知,這是第一個百萬級規模的開放人物設定資料集,將日本官方統計數據與家庭財務和金融素養數據結合。
該資料集基於官方政府統計數據,利用 NeMo SDG-PGMs(一個用於合成數據生成,SDG 的機率圖形模型框架)和 NeMo Data Designer(一個企業級合成數據生成系統)開發。
此外,為了增強該資料集在金融應用中的實用性,它整合了包括損保日本、東京海上控股、福岡銀行、瑞穗金融集團、明治安田生命保險以及金融數據利用協會(FDUA)等領先國內金融機構和行業協會提供的見解和回饋。
該資料集擴展了日本開發者和企業開發和評估符合當地和行業要求的 AI 的環境,且無需使用真實客戶數據。它在 CC BY 4.0 授權下發布,可用於商業用途。從建立對話代理到客戶模擬和模型評估,它支援實用的金融 AI 開發。Nemotron-Personas 系列,包括 Nemotron-Personas-Finance-Japan,旨在與使用者模擬框架 NeMo User Sim 無縫整合,實現與真實世界一致的多樣分佈模擬的即時執行。
資料集內容
總計 900 萬個人物設定(100 萬條記錄 x 每條 9 個人物設定),以自然日語撰寫。每條記錄包含 50 個欄位:9 個人物設定欄位、11 個人物屬性,以及基於官方人口統計和勞動統計數據的 30 個情境欄位。總計約 15 億個 token,其中約 7.5 億個為人物設定 token。
包含約 95 萬個獨特姓名,以及 1600 多個反映日本勞動力的職業類別。全面涵蓋人口統計、區域、資產分佈和人格特質等軸向。多樣的人物設定類型:職業、運動、藝術、旅行、烹飪、金融、金融行為和金融擔憂。自然語言人物屬性:文化背景、技能和專業知識、職業目標和抱負、興趣愛好、家庭/父母/財務背景、金錢觀念和財務規劃。在 CC BY 4.0 授權下,可用於商業和非商業用途。
我們如何建立它
數據生成流程
它使用 NVIDIA 的合成數據生成框架 NeMo Data Designer 建立。這個複合式 AI 系統支援複雜的 Jinja 模板、Pydantic 驗證、結構化輸出、自動重試以及多個生成後端。這是生成如此大規模合成資料集所需的基本工具集。
此外,還使用了以下模型:NeMo SDG-PGMs(Apache-2.0):一個用於統計基礎數據生成的機率圖形模型框架。gemma-4-31B-it(Apache-2.0):用於日語文本生成。
增強的文化背景
Nemotron-Personas-Finance-Japan 的設計旨在符合日本官方人口統計和勞動統計數據,同時考慮到 AI 訓練的關鍵要素:
教育:國家統計數據通常廣泛地匯總學位水平,我們引入了更細緻的粒度,使模型能夠反映多樣的教育途徑。職業:我們納入了額外類別(例如企業主和專業人士),以擴大用於訓練的職業範圍。人生階段:我們模擬了在統計數據中很少突出顯示的情境,例如學生、退休人員和失業期,以代表更真實的人物設定。
家庭財務:除了個人收入和消費傾向,我們還納入了家庭層面的金融和實體資產,以複製多樣的經濟背景。數位和金融素養:透過納入網路和智慧型手機使用情況以及金融素養,我們使模型能夠精確捕捉金融應用中的消費者概況。
設計即隱私
每個人物設定都是完全合成的。沒有真實的個人被代表,資料集旨在降低隱私風險。人口統計和家庭財務遵循官方統計數據和公開調查數據,姓名遵循真實的日本命名模式。人物設定是從這些分佈中建立的,而不是從關於真實人物的記錄中建立的。
此數據的適用對象
Nemotron-Personas-Finance-Japan 主要為在日本建立金融 AI 的團隊而設計,包括銀行、保險公司以及為其服務的新創公司和整合商。每個人物設定都包含家庭財務和金融素養以及人口統計資訊。團隊可以使用它們來建立客戶服務代理、評估銷售對話/行銷活動、在 NeMo User Sim 中執行使用者模擬,以及對面向客戶的 AI 進行紅隊測試。
此次發布也服務於所有為日本使用者開發的開發者。它包含 900 萬個人物設定,比 Nemotron-Personas-Japan 多 50%,涵蓋 50 個欄位而非 22 個。這為任何日語專案提供了更精細的人口切片進行訓練和測試。
實際 AI 應用
該資料集中的合成人物設定可用於:多輪對話:使用人物設定作為「種子」來生成類似人類的對話資料集。領域特定 AI 開發:生成資料集以建立針對金融應用中真實情境量身定制的 AI 助理。偏見測試和公平性:評估模型和 AI 代理系統在城鄉差距、不同年齡組、教育背景和經濟狀況下的表現,以檢查 AI 在日本社會中的表現是否一致。
為何重要
獲取反映真實世界人口的多樣化、高品質訓練數據一直是 AI 開發中的挑戰。企業 AI 開發主要依賴私人數據,這為研究人員、新創公司,特別是數據資源有限地區的 AI 開發者製造了障礙。
數據多樣性:反映日本人口的完整光譜,有助於減少有偏見的訓練和模型崩潰的風險。文化真實性:減少對以西方為中心的資料集的依賴,並支援主權 AI 系統的開發。隱私和治理:符合日本以創新為先的 AI 治理方法。每個人物設定都是合成的,因此無需客戶數據即可建立或測試。
透過在 CC BY 4.0 授權下發布 Nemotron-Personas-Finance-Japan,我們提供了企業級、高品質的合成數據,使任何人都能以更低的成本和更少的隱私風險建立具有文化基礎的 AI 系統。
與 Nemotron-PII-Japan 搭配使用
Nemotron-PII-Japan 同日發布。它包含 10 萬份帶有標註個人資訊的合成日語商業文件,用於訓練和測試檢測及編輯模型。其文件建立在 Nemotron-Personas-Japan 之上。使用 Nemotron-Personas-Finance-Japan 模擬客戶,並使用 Nemotron-PII-Japan 測試您的流程如何保護他們的數據。
開始使用 Nemotron-Personas-Finance-Japan 進行開發
您可以使用以下指令下載此資料集,以幫助開發真正理解日本文化和語言的 AI:
from datasets import load_dataset
`ds = load_dataset(