就在一週多前，我參加了在北京中關村這個熱鬧的高科技園區舉行的一場重要人工智慧會議。會議內容豐富多元，從遞迴式自我改進（模型能自行調整程式碼並無限期進步的概念）到人形機器人等議題應有盡有。會中也邀請了幾位計算機領域的傳奇人物，包括公開金鑰密碼學的共同發明者 Whitfield Diffie，以及因強化學習開創性工作與 Rich Sutton 共同獲得圖靈獎的 Andrew Barto。然而，我離開時最深刻的體會是：美國和中國應該放下激烈的AI競爭。
前瞻性AI的網路安全和系統性風險過於嚴峻，不容忽視。除非全球的AI強權能夠合作，否則能力日益增強的代理模型（agentic models）可能很快就會引發混亂。麻省理工學院的電腦科學家 Stephen Casper 在會後透過視訊告訴我：「AI是一種全球性技術，它帶來全球性的利益和危害，而且新能力最終總會擴散。」
迄今為止，美國主要將中國的AI進展視為經濟和國家安全威脅。華盛頓對晶片和晶片製造設備實施了嚴格限制，以阻礙中國開發強大AI的能力。最近，美國政府更以國家安全為由，命令 Anthropic 阻止外國國民存取其最強大的模型 Mythos 和 Fable 5。作為回應，Anthropic 撤銷了所有人的存取權限。WIRED 先前曾披露，其中一家特別令人擔憂的公司是一家據稱與中國有聯繫的韓國電信巨頭。
然而，由北京智源人工智慧研究院舉辦的這次會議，強化了一個觀點：如果AI發展得過於迅速和魯莽，美國和中國都將蒙受損失。隨著AI變得更強大、更具代理性，並與日常生活更緊密地結合，它被用於發動網路攻擊或以災難性方式失敗的風險只會增加。由於全球兩大主導AI強權負責開發最先進的模型，它們之間的合作顯得至關重要。
Casper 指出，有研究顯示，在AI風險方面進行國際合作所帶來的好處，遠超過合作可能產生的任何國家安全風險。他將當前局勢比作美國和蘇聯在核武器危險方面被迫合作的情況，儘管當時兩國仍在競相囤積核武。
Casper 表示：「目前幾乎所有AI領域的人都能達成共識的一點是，AI不需要一個車諾比時刻。」
其中一場為期一天的會議，強調了更先進AI所帶來的網路挑戰的普遍性。這包括AI生成程式碼中出現的新型漏洞、透過代理工具使用（agentic tool use）實現的攻擊系統新方法，以及自動化執行社交工程攻擊的手段。
在另一場會議後，我與上海交通大學的教授林雲進行了交談，他在AI和電腦安全領域有著卓越的研究。林雲告訴我，他預計駭客在短期內將佔據優勢，但新的防禦措施，包括AI的新穎應用，應能隨著時間推移將平衡點重新導向防禦方。
林雲表示，即使國際合作因競爭而變得複雜，它仍應是優先事項。他告訴我：「如果不同國家對風險有相似的理解，那麼制定共享的安全原則和技術標準就會變得更容易。關鍵在於找到那些分享資訊既能降低系統性風險，又不會洩露敏感操作細節的領域。」
對於兩國而言，最緊迫的問題或許是如何在開放與風險之間取得平衡。開源模型對於研究和創新至關重要，中國的模型在美國也廣受歡迎。然而，隨著這些模型的進步，要確保它們不會幫助駭客識別安全漏洞，也無法被用作網路武器，將變得更具挑戰性。
