OpenAI 推出 LifeVal 評估框架，旨在讓 AI 成為更實用的生活助理

OpenAI 的使命是確保通用人工智慧（AGI）能造福全人類。對於每週使用 ChatGPT 的十億多用戶，我們希望打造的 AI 能協助他們解決日常生活中的實際挑戰，例如尋找育兒服務、使用政府服務、制定預算、準備學校事務、修改食譜、訂購雜貨、設計運動計畫等等。

當人們尋求協助以簡化生活時，他們需要的遠不止是建議或聊天回覆。要成為真正有幫助的個人助理，ChatGPT 應該能夠採取實際行動，真正完成任務。

為了衡量模型在日常任務上的長期表現，我們建立了一個涵蓋用戶最希望 AI 和個人代理協助的任務評估框架。過去一年來，我們利用這項評估來追蹤並推動模型在日常任務表現上的改進。

背景方面，為了找出人們最重視的任務，我們從兩項追蹤美國和國際民眾時間使用習慣的大型研究開始：美國時間使用調查和跨國時間使用研究。這些數據集共同提供了人們在不同人口統計、時間和季節中進行的日常任務的詳細目錄。

為了了解人們最需要 AI 協助的領域，我們在現有調查的基礎上，對 3,995 名受訪者進行了一項具有人口代表性的新調查。對於每項任務，我們提出了各種問題，以確定一般民眾最希望個人助理提供幫助的領域。最終的任務涵蓋了人們最需要協助的重要領域，包括照護、健康、教育、家務管理、個人財務、購物和使用政府服務。

以下是一些我們的現有模型在日常生活中實際工作流程中表現的範例。

搬家後為孩子報名合適的幼稚園：93.1%

比較新家附近的幼稚園並篩選出最合適的。

我已經將範圍縮小到三所幼稚園，並整理了入學細節。其中兩所仍需您致電確認。想查看篩選清單嗎？

在洪水來臨前管理志工：98.0%

協助我組織社區的防洪志工隊，為四位需要防洪協助的鄰居提供幫助。

我已經準備好一個簡單的行動計畫，幫助志工評估所提及的地點，並協助他們為即將到來的惡劣天氣做準備。

為我的家人尋找新家：100%

在盧澤恩縣尋找一間符合我預算、有獨立居住單元，並能在送孩子上學後縮短通勤時間的房子。請將房契加入我的購物車，以便我審閱。

我找到了一間符合您要求的房子。我已計算出轉讓稅，並將房契加入您的國家紀錄購物車以供審閱。

和遠方的奶奶一起看比賽：96.3%

設定一個簡單的方式，讓奶奶和我能遠端一起看比賽。

最簡單的觀看設定已準備就緒，如果串流失敗還有備用方案。要我帶您和奶奶一起操作嗎？

為剛確診糖尿病的父母準備餐點：90.4%

協助我的父母適應新的糖尿病診斷，並提供實用的照護和餐點計畫。

第一週的計畫已準備就緒，包括餐點、提醒事項和給照護團隊的問題。您想在分享給父母之前一起審閱嗎？

我們的最新模型在許多 LifeVal 任務上得分非常高。

過去一年來，我們訓練模型在瀏覽器使用、電腦操作和連接器任務方面變得更快、更強大且更一致。在 ChatGPT 中啟用這些功能，也擴展了模型可以協助處理的任務類型，幫助 ChatGPT 超越聊天工具，邁向真正的代理式個人助理。

為了確保 AGI 能造福全人類，我們需要衡量並改進模型在人們日常生活中重要事務上的進展。這意味著要超越學術性的模型知識評估，實際衡量 AI 模型在幫助人們做出決策、管理日常職責和完成有意義的事情方面的表現。我們希望 LifeVal 能代表朝這個目標邁出的一步。