透過合成企業資料評估，提升 Microsoft Copilot 的 AI 可靠性

評估企業規模的 Microsoft Copilot 需要能夠捕捉真實組織完整複雜度的測試資料。然而，真實的企業資料包含敏感資訊，在任何情況下都不能用於評估。

為了解決這個難題，我們建立了「產業評估資料生成平台」：一個基於公開真實世界資料來源（例如 O*NET 職業資料、線上職位發布和 SEC 申報文件）的全規模合成企業環境。

這些合成環境模仿真實的業務工作流程，幫助 Microsoft 發現通用基準測試會遺漏的問題。安全與隱私是該平台設計的核心。每個環境都是完全合成的，自動化的內容安全檢查確保生成的資料不含任何有害或個人身份識別資訊。

每天，全球數百萬知識工作者仰賴 Microsoft Copilot 來起草文件、總結會議、查找相關資訊並提升生產力。在幕後，這由一個 AI 系統網路提供支援，而確保它們按預期運作需要深思熟慮的評估方法。在 Microsoft，我們深知高效能並非憑空而來。它來自於不斷的測試、衡量與迭代。

醫療保健組織不斷整合來自各團隊的安全訊號，以便他們能做出更快、更好的決策，直接影響病患預後和監管信心。他們可能會要求 Copilot 總結會議並為團隊提取行動項目。Copilot 在幾秒鐘內就能提供結構化的摘要，引用會議記錄中的具體討論點。但我們如何確保這個回應是準確、完整且正確地基於會議內容呢？這就是我們的評估系統發揮作用的地方。

我們開發了一套名為「產業評估資料生成平台」的結構化評估策略，其中包含針對特定產業的評估資料集，旨在根據真實的企業情境測試 AI 系統，並基於三個核心支柱：

合成企業環境：模擬 Microsoft Copilot 環境，包含真實使用者、會議、電子郵件、文件和組織結構，在不使用任何客戶資料的情況下，複製真實組織的複雜性。

自動化查詢生成管線：用於快速、可重現地建立評估資料集。

結構化品質框架：確保合成資料達到有意義評估的標準。

圖 1：產業評估資料生成平台的組成部分

這些支柱共同幫助我們回答兩個基本問題：Microsoft Copilot 是否確實做到了使用者需要它做的事情，以及我們能否在不接觸他們資料的情況下證明這一點？在這篇部落格文章中，我們將介紹我們的評估系統和流程，從合成環境生成到自動化查詢管線，以及它們如何共同為 Microsoft Copilot 建立第一個標準化評估基準。

合成企業環境

評估企業 AI 需要能夠捕捉真實組織完整複雜度的測試資料：報告結構、專案歷史、溝通模式和特定領域的工作流程。然而，真實的企業資料包含敏感資訊，在任何情況下都不能用於評估。這就是我們著手解決的核心矛盾。

我們不依賴小型、手動策劃的測試夾具，而是生成全規模的合成環境：模擬的企業工作區，每個都具有真實的組織結構、溝通歷史和工作產物。在 Microsoft 的術語中，每個模擬工作區都稱為「租戶」（tenant）。租戶是一個獨立的組織環境，擁有自己的使用者、資料和配置。這些環境是可擴展的基準，團隊和組織可以根據需要進行建構。它們旨在展現使企業 AI 評估有意義的相同結構和行為特性。

基於真實世界訊號

為確保我們的合成環境真實，我們將其基於公開的真實世界資料來源。美國勞工部職業資料庫的 O*NET 資料用於使合成員工的角色和職責更真實，校準分配給不同角色的工作活動組合和頻率，並客製化特定產業的工作流程，例如臨床試驗審查或投資組合更新。

線上職位發布提供了真實的角色職稱、報告層級和部門組成。SEC 申報文件則提供了組織規模、業務單位結構和財務背景資訊。所有這些來源都是公開的，並已由 Microsoft 的法律和政策組織審查和批准。

圖 2：用於支持評估資料生成的公開資料集中的真實訊號

重要的是，這些合成環境並非靜態快照。它們模擬動態、隨時間演進的組織，包含會議歷史、專案時間軸、數週內發展的電子郵件線程，以及自然發生的組織變革。這種時間維度至關重要，因為很大一部分的 Copilot 查詢本質上是時間感知的。像「團隊上週四決定了什麼？」或「自上次季度審查以來有什麼變化？」這類問題，只有在底層資料具有真實的時間結構時，才能產生有意義的評估。

特定產業模擬

我們在多個產業中生成了三個合成環境，每個環境都具有反映真實世界使用情況的獨特特徵：

製藥環境，包括法規提交工作流程、臨床試驗討論和跨職能安全審查會議。

資本市場環境，包含交易管線、合規溝通和客戶投資組合審查。

IT/軟體公司，模擬衝刺規劃、程式碼審查討論和產品發布協調。

圖 3：產業評估資料生成所針對的產業

這種產業特異性確保我們的評估查詢能夠針對這些領域的真實使用者實際提出的問題來測試 Copilot，而不是依賴可能無法揭示特定領域故障模式的通用測試案例。

自動化查詢生成

雖然合成環境為評估提供了基礎，但它們面臨一個關鍵限制：我們仍然需要真實的評估查詢。這些問題用於測試 Copilot 是否能找出正確的資訊、正確地合成資訊並以有用的方式呈現。手動編寫數千個基於現實、特定產業的查詢既昂貴又緩慢。這就是我們自動化管線的用武之地。

六階段管線

圖 4：將通用查詢範本轉化為真實、特定產業查詢的客製化管線

我們建立了一個自動化管線，將簡單、通用的查詢想法轉化為針對 Copilot 的真實、特定產業問題。它從一個包含常見工作任務的大型資料庫開始，將其縮小到與特定產業相關的內容，並使用領域特定語言和上下文進行調整。然後，系統利用 AI 生成基於合成環境資料的查詢，將其改寫得更自然、更像人類，並驗證每個查詢的準確性和獨特性。

結果是一組豐富、高品質、栩栩如生的查詢，能夠對 Copilot 在真實世界情境中的表現進行可擴展且可靠的評估。

驗證合成資料品質

當然，生成合成資料只是挑戰的一部分。我們還需要確保資料足夠好，能夠產生有意義的評估。我們使用內部語義評估框架來評估合成環境的品質，該框架從三個維度衡量品質：

結構保真度：組織結構是否反映了真實的報告層級、團隊規模和跨職能關係？

上下文相關性：查詢和工作流程是否代表了實際的企業使用模式？

行為真實性：模擬使用者是否展現出類似人類的溝通模式和協作動態？

內容安全性：生成的內容是否不含任何有害、冒犯性或個人身份識別資訊，並避免冒充真實個人？

端到端自動化

雖然我們的合成環境和查詢管線提供了方法論，但如果沒有適當的自動化，它們將面臨幾個實際限制，包括：

可重現性：手動流程每次都會產生細微不同的結果，使得難以比較不同發布版本之間的評估。

規模：產業垂直領域和配置變體的數量超出了任何團隊手動合理生產的能力。

迭代速度：手動創建需要數天時間，延遲了關鍵回饋並減緩了開發週期。

跨團隊一致性：如果沒有標準化工具，不同團隊將產生格式不相容且品質水準不一的評估資料集。

這種自動化將評估資料集的創建從數天的手動過程縮短為自動化運行。我們估計每個評估資料集節省約 10 萬美元，專案總節省達 30 萬美元。但更重要的成果是，現在任何團隊都可以從相同的配置重新生成評估資料集，並獲得相同的結果。

播客系列：理念

聆聽 Microsoft 研究社群成員討論激發他們研究的信念、影響他們研究的經驗和思想家，以及他們所追求的積極人類影響。

設計即隱私與安全

企業級評估不僅需要良好的方法論。它還需要一種隱私立場，讓團隊能夠快速行動而不損害使用者信任。我們產業評估資料集的一個不可協商的設計原則是，在管線的任何階段都不使用真實的客戶資料。從組織結構到電子郵件內容再到會議記錄，每個元素都是合成生成的，沒有任何客戶資料輸入。由於資料是完全合成且經過安全篩選的，團隊可以廣泛共享和重複使用，而不會引入聲譽、合規或負責任 AI 的風險。

我們的保障措施包括引用真實世界統計分佈的隱私保護聚合技術、對所有公開資料來源的專家法律審查和批准，以及在整個管線中清晰的資料來源和血緣追蹤。這意味著 Microsoft 內部的團隊可以自由使用這些評估資料集進行實驗、基準測試和迴歸測試，而無需額外的隱私審查或資料處理限制，這些限制原本會減緩迭代速度。隱私設計並非系統的限制。它正是實現廣泛採用的關鍵。

成果與影響

自從啟動這個專案以來，我們在多個維度上觀察到顯著的改進。在合成資料品質方面，我們的內部評分系統顯示，生成資料在結構、上下文和統計保真度方面有顯著的品質提升。在我們的綜合品質指標（衡量合成資料與真實企業環境的複雜性和模式的相似程度）中，分數比我們最初的生成方法提高了 39%。

一些特定產業的環境達到了 0.9 分以上的品質分數（滿分 1.0），證明了以領域為中心的生成能夠產生高度真實的評估環境。這些改進部分是透過整合真實的產業訊號獲得的，部分是透過關鍵綜合品質指標的自動化品質改進來實現的，這些指標有助於提高結構完整性、上下文連貫性和統計多樣性。