Lathoa：讓 AI 刻意犯錯的兒童數學學習 App

我為 10 到 14 歲的兒童開發了這款應用程式。程式中的機器人 Errol 會逐步解題，其中一個步驟會是錯的，孩子們必須找出錯誤並說明哪裡不對。有時候題目是完全正確的，所以不能每次都只說「有錯誤」。

如果使用者發現錯誤，需要輸入解釋才能獲得更多經驗值（XP）；答題速度也會影響分數。Lathoa 沒有直接與大型語言模型（LLM）互動或聊天功能，其內部系統穩定，並設有多個評估步驟來捕捉不一致和提示詞注入（prompt injections）。您可以在首頁上試玩一題，無需註冊。

令我驚訝的是，要讓大型語言模型（LLM）刻意犯錯其實很困難。有時候它會給出正確答案卻說那是錯的，或是把一個實際上正確的步驟標記為「錯誤」。因此，每個題目在孩子們看到之前都會經過檢查。

在可行情況下，程式會進行簡單的算術檢查來精確地重新計算。另外，還有第二個模型會在不參考 Errol 解題過程的情況下獨立解題。如果兩者結果不一致，該題目就會被捨棄。

這個方法的弱點在於，第二個模型也可能犯與第一個模型相同的錯誤。雖然算術檢查可以彌補這一點，但目前僅適用於英文題目。德文和希臘文使用逗號作為小數點，我還沒有正確處理好解析問題。

我真正想知道的是：找出別人錯誤的學習方式，是否能教導一些自己解題學不到的東西？我對此並不確定，很希望能聽聽教育工作者的看法。