透過學生學習模擬，提升 AI 家教系統效能

微軟研究院的 StudentSim 是一個研究系統，旨在於 AI 家教系統實際應用於真實學生之前，對其進行評估與改進。它並非產品，也未部署於教室，更無意取代教師。

AI 家教工具需要學生的回饋才能進步，然而透過真人研究收集這些回饋既緩慢又昂貴，且難以規模化。StudentSim 透過公開、去識別化的學習者紀錄，訓練出個人化的 AI 學生模擬器，每個模擬器都針對特定學生進行調整。

這項研究從兩個以教育為基礎的維度來評估這些模擬器：一是它們是否能像特定學生一樣回應，二是它們在獲得家教指導後是否會更新其反應。在西洋棋、第二語言英語寫作和數學等領域，StudentSim 的表現優於領先的基準模型，並為訓練 AI 家教提供了有用的回饋訊號。

在研究領域中，團隊正探索 AI 驅動的家教系統如何協助解釋數學問題、建議寫作作業的修改，或引導學習者理解西洋棋的局面。然而，教學品質不能僅從家教的答案來衡量。家教需要知道指導傳達給學生後會發生什麼。

學生是否糾正了最初的錯誤？提示是否有助於他們推導出答案，還是洩漏了太多資訊？不同的學生是否需要不同類型的支援？在當前的 AI 家教研究中，回答這些問題通常需要真實學習者的研究。這些研究雖然有價值，但執行起來既緩慢又昂貴，使得在模型快速迭代期間難以利用學生的回饋。

StudentSim 是一個 AI 系統，它能為個別學生建立個人化的模擬器，模擬他們如何回答問題，以及在收到家教指導後答案如何改變。其目標是在 AI 家教開發過程中，讓學生回饋更容易取得。這項研究也引入了 StudentSimEval，這是一個涵蓋西洋棋、第二語言英語寫作和數學的基準測試與評估協議。

重要的是，其目標並非取代教師或課堂學習。相反地，StudentSim 旨在協助研究人員在研發過程中，於 AI 家教系統實際與真實學習者測試之前，對其進行評估和改進。這項研究僅使用公開發布、去識別化的學習者資料集，這些資料集專供研究使用；在任何階段都不會使用個人身份識別資訊。

建立學生模擬器的一個簡單方法是要求大型語言模型扮演學習者的角色。例如，一個提示詞可能會說：「你是一個數學有困難的小學生。」模型可以改變語氣並表達不確定性。

然而，更困難的部分在於保留學習者實際的能力界限。模型可能以小學生的語氣說話，但其所依賴的知識和推理能力卻遠超該學生的水平。對於訓練 AI 家教而言，這可能會產生誤導性的回饋：家教可能因為模擬學生能力過強而顯得有效。

傳統的學生建模方法則面臨不同的限制。知識追蹤和行為預測模型以真實學習紀錄為基礎，可以估計學生的當前知識、技能和學習習慣。

然而，其中許多模型並非設計來接收自然語言的家教指導作為輸入。它們可以幫助描述學生做了什麼，但並不總能告訴我們學生會如何回應特定的解釋、提示或蘇格拉底式提問。

StudentSim 透過教育研究啟發的兩個維度來定義目標。教育工作者常區分學習者能獨立完成的事，以及在支援下能完成的事。維果茨基的「近側發展區」概念，便捕捉了當前獨立表現與在指導下表現之間的差距。

StudentSim 將這個概念轉化為兩個評估目標。行為忠實度（Behavioral fidelity）衡量模擬器是否與特定學生在保留問題上的紀錄回應相符。指導回應性（Guidance responsiveness）則衡量模擬器在閱讀家教指導後是否更新其回應。

這兩個目標是互補的。一個僅匹配學生過往行為的模擬器可能對預測有用，但無法顯示教學干預是否有效。

一個總是遵循家教指示的模擬器可能回應流暢，但卻可能無法代表特定學生的優勢、劣勢和可能犯的錯誤。AI 家教訓練需要這兩種訊號：學習者的起點，以及指導如何影響學習者的表現。

StudentSimEval 完全建立在公開可用的學習者資料集之上，這些資料集是為研究用途而發布的去識別化紀錄。這些紀錄不包含任何個人身份識別資訊，且每個個人化模擬器僅根據其所代表學生的去識別化紀錄進行訓練。

真實的學生資料在個體層面往往是稀疏的。一個學習者可能只貢獻了少量的文章、答案或互動。為每個學生從頭訓練一個獨立的模擬器，將有過度擬合的風險，並且會要求每個模型重新學習該領域的常見模式。

StudentSim 採用兩階段訓練流程。在第一階段，模型會利用同一領域中許多學生匯集的紀錄進行訓練。此階段學習常見的回應格式、常見錯誤，以及學生在獲得指導後常見的修改方式。

在第二階段，模型會針對單一學生的紀錄進行專門化訓練，從而為該學生產生一個個人化的模擬器。

這項評估涵蓋了三個具有不同回應類型的領域。在西洋棋中，模擬器預測玩家的下一步棋，以及該玩家在教練指導後可能如何修改。

在第二語言英語寫作中，它生成具有符合學習者錯誤模式的文章，並預測教師回饋後的修正。在數學中，它預測學生的多重選擇題答案，以及學生在解釋後是否會更新答案。

在這些領域中，StudentSimEval 採用相同的原則：在相同的每位學生訓練紀錄和相同的保留評估紀錄上比較所有方法。

StudentSim 在這三個領域的表現均優於領先的基準模型。例如，在西洋棋中，StudentSim 的行為忠實度達到 0.5150，指導回應性達到 0.9067。相較之下，GPT-5.4 分別達到 0.2316 和 0.7186，而專為西洋棋設計的人類走法預測模型 Maia2 則分別達到 0.4535 和 0.2721。

這項比較說明了不同基準模型家族之間的差異：GPT-5.4 能夠回應指導，但無法可靠地匹配特定學生的行為；而 Maia2 更精確地預測人類西洋棋走法，卻缺乏自然語言的指導途徑。

這項研究也測試了訓練過的學生模擬器是否能為家教優化提供回饋。在一項西洋棋家教的強化學習研究中，家教接收一個棋局和真實學生之前錯誤的走法，然後產生指導。

在此過程中，學生模擬器本身的參數保持固定，它會閱讀指導並產生一個修改後的走法。獎勵是根據學生之前的走法到模擬器修改後走法之間，走法品質的提升來計算，並使用 Stockfish 作為獨立的西洋棋引擎訊號。

這項研究比較了三種情況：一個沒有強化學習的監督式微調家教、一個以 GPT-5.4 作為模擬學生獎勵來源訓練的家教，以及一個以 StudentSim 作為獎勵來源訓練的家教。所有情況都使用相同的家教策略、監督式起點和強化學習設定。隨後，人類西洋棋專家在不知道條件的情況下評估家教的回應。

StudentSim 的獎勵在所有報告的維度上產生了最高評分的家教。使用 StudentSim 訓練的家教達到 90.5% 的準確度，而無強化學習的基準模型為 75.7%，GPT-5.4 獎勵條件則為 71.6%。

它在指導品質和個人化方面也獲得了更高的評分。這個結果證明了，透過真實學習者資料訓練的學生模擬器，可以為改進 AI 家教提供有用的回饋。

StudentSim 並未消除教育研究中對真實學習者的需求。人類研究對於衡量學習成果、安全性、可用性和課堂適用性仍然至關重要。

學生模擬器的作用在於開發過程的早期：它們可以幫助研究人員測試家教策略、比較模型，並在進行更昂貴的真實學生研究之前，精煉訓練訊號。

更廣泛的方向是建立能從學生反應中學習的 AI 家教系統，而不僅僅是依賴專家編寫的解釋或靜態的正確性標籤。StudentSim 展示了一條途徑：利用真實學習紀錄訓練個人化模擬器，從獨立行為和對指導的回應兩方面評估這些模擬器，並將它們作為可擴展的回饋來源用於家教訓練。

未來的研究可以將這種方法擴展到更長的學習軌跡、更多學科、更豐富的學生檔案，以及將模擬回饋與真實學習成果連結起來的研究。

該論文以及 StudentSim 的訓練和評估程式碼，包括 StudentSimEval 協議，均已公開發布。