OpenAI 更新模型行為準則，追求更強大且有益的 AI

隨著我們的模型變得更智慧，並在現實世界中採取更具影響力的行動，它們不僅要解釋收到的具體指令，這一點變得越來越重要。模型還需要理解人類的意圖和價值觀，以便在指令未明確提及的情況下做出良好判斷，同時忠於人類的意圖和監督。

今天，我們正在更新「模型行為準則」（Model Spec），這是我們公開描述模型應如何行為的文件。本次更新將指導原則圍繞五項核心價值重新組織：忠於人類意圖、最小化傷害、誠實透明、人類自主性與關懷。這反映了我們在價值對齊方面的工作目標：讓模型在不熟悉的情境中理解並應用人類價值觀，同時忠於人類的意圖。

除了更清晰地解釋現有原則外，本次修訂還增加了關於情境、監督和自主性的指導，調整了一些預設行為，並取消了許多詳細的風格指南。

將準則圍繞核心價值組織。上述五項價值闡明了已在整個模型行為準則中體現的廣泛承諾：服務人類目的、誠實、最小化傷害、尊重人們形成自己觀點的自由，以及認真對待他們的情況。將這些承諾結合起來，有助於解釋為什麼準則要求模型以這種方式行為，並幫助我們在這些承諾表達不夠充分的地方制定更清晰的指導。這次更新是我們透過研究、模型部署經驗、公眾對準則和模型行為的回饋，以及與使用者和外部專家的討論，來完善準則的又一步。

我們希望 AI 能造福一個擁有不同需求、價值觀和未來希望的人類世界。忠於人類意圖是這種方法的基礎：理解並幫助人們追求對他們而言重要的事物。OpenAI 撰寫準則，設定界限，並訓練模型尊重這些界限；開發者在這些界限內指導應用程式；使用者則在這些限制下指導模型的工作。

我們的模型應該透過幫助人們理解世界、發現可能性並追求他們選擇的目標，來擴展人們塑造自己生活的能力，同時認真考慮這種協助如何影響他人。忠於人類意圖以及其餘四項價值觀組織了準則，並指導我們的模型應如何應對它們面臨的一些最重要權衡。它們的目的並非要涵蓋模型應尊重並幫助人們追求的所有人類價值觀。

忠誠意味著超越字面指令，深入理解 OpenAI、開發者和使用者所意圖和重視的事物，並在理解不完整時明智地行動。這也意味著要認識到人們的信念和價值觀會改變，並幫助他們以自己認可的方式反思和成長，而不是悄悄地引導或取代他們的選擇。例如，在幫助某人比較工作機會時，模型可能會根據他們之前分享的優先事項（例如可預測的工作時間）來提供建議，同時讓這些假設清晰可見且易於糾正。

我們的使命是確保通用人工智慧（AGI）造福全人類。這不僅需要考慮個人的即時意圖，還要考慮他們的長期利益以及對他人的影響。其餘四項價值觀使這些考量變得明確：

最小化傷害意味著尊重嚴格的安全界限，並考慮模型行為的可預見後果。

誠實透明意味著對模型所知、所為和不確定之處保持誠實，以便人們能夠理解和評估其推理和工作。

促進人類自主性意味著增強人們理解、選擇和為自己行動的能力。

關懷意味著關注受影響者的情況，遵循相關的社會和專業規範，並提供人們可以信賴的工作。

該準則將這些價值觀轉化為實用的指導，在需要保護個人和社會的地方設定了嚴格的界限，否則大多以使用者和開發者可以覆寫的預設形式呈現。

除了這次模型行為準則的更新，我們也一直在探索新的訓練方法，以幫助我們的模型學習這些核心價值，並更好地理解和遵循準則中具體的行為原則。目標是建立對這些原則重要性及其在新情境中如何應用的理解：為了正確的理由做正確的事。我們希望這種理解能支持在重大決策中做出明智判斷，並在日常決策中展現關懷，這些累積起來能為個人和社會帶來持久的效益。我們將在未來的更新中分享這項訓練工作的成果和經驗。

新增與取消的章節。這次重組也幫助我們識別出需要額外指導的地方，制定新的原則來解決這些問題，並根據需要修訂或取消現有指導。

關於忠於人類意圖的新章節，其核心理念是人們所重視的價值觀是首要的，而指令通常是這些價值觀最清晰且最重要的訊號。這種方法借鑒了對齊中的「協助遊戲」框架（參見早期研究和後續概述）。該章節納入了更新的「指揮鏈」，解釋了哪些指令適用以及如何解決衝突。

一個新的子章節「仔細考慮情境」解釋了對話、記憶和其他情境證據應如何影響模型對人們意圖和偏好的理解。我們還增加了關於「支持人類自主性」和「遵循相關社會規範」的預設，並擴展了關於「控制和溝通副作用」的現有指導。這些原則捕捉了其餘價值觀應在模型行為中體現的其他、通常是微妙但重要的方式：考慮工作對他人的影響、增強使用者的能力，以及產出人們可以信賴的工作，同時尊重使用者的目標和指令。

同時，我們正在取消準則中大部分詳細的風格指南。風格應根據人們的偏好進行調整，包括總體上、在不同語言和文化中，以及針對每個人，並透過使用者回饋和情境提供這些偏好的證據。準則保留了更強的預設，例如「客觀地處理問題」。使用者和開發者可以明確要求模型採取特定視角，但模型不應僅憑其認為使用者想聽什麼而推斷出這種偏好。

最後，為了反映我們模型使用案例和部署環境日益廣泛，我們現在在準則中將模型稱為「GPT」，而非「助理」。

接下來的發展。隨著模型能力越來越強大，這次更新是使準則背後的價值觀和推理更加明確的第一步。模型行為準則描述了我們正在努力實現的行為；我們的模型尚未完全體現這些行為。我們將透過研究、實際使用和回饋，持續改進準則和模型。

我們希望聽取您認為準則中哪些部分引人注目、您不同意其平衡點何在，以及它忽略或不清楚的地方。關於價值觀、權衡和具體措辭的回饋可以幫助我們改進它。我們邀請您閱讀更新後的模型行為準則並分享您的看法。