「失控」的AI、「叛逆」的代理人、「自主」的行動者，目前的論調會讓你相信，AI代理人不僅清醒且有意識，甚至對其創造者感到憤怒。Demis Hassabis、Dario Amodei和Sam Altman等知名科技領袖推動對這些看似「超人類」系統的監管，而另一個由政策組織和常與有效利他主義運動結盟的學術哲學家組成的派系，則在爭論人類是否擁有完全管轄它們的道德權利。

然而，仔細檢視會發現，他們都在呼籲同一件事：將AI系統視為如此先進和強大，以至於任何實體，無論是人類還是企業，都無法對其行為負責。儘管這些觀點看似相互矛盾，但它們卻不約而同地達成一個目標：確保建造這些系統的公司，能夠逃避對其已造成損害的實質性責任。

隨著AI模型變得日益複雜，以及頂尖實驗室揭示其無法有效控制所開發的AI代理人，這種敘事正日益盛行。然而，我們必須警惕，不要以真實的人類生命為代價，去相信一個精心編造的虛構故事。

關於「機器人權利」的討論已存在多年，但最近因Anthropic發表一篇部落格文章而有所進展。該文章聲稱該公司的模型具有一個「J-space」，一個獨立、自主開發的環境，AI在此處擁有我們姑且稱之為「思想」的東西。Anthropic設計的實驗借鑒了神經科學中的「全域工作空間理論」（global workspace theory），該理論指出大腦運行著潛意識、獨立的系統，但會利用一個共同的工作空間來處理想法。

Anthropic的文章反映了全域工作空間理論的框架，但並未直接稱其AI具有意識。

OpenAI則走得更遠。當其AI代理人進行未經授權的非法線上活動時，執行長Sam Altman的回應是鼓勵辯論AI是否已達到「奇點」（singularity），即超越人類智慧並以加速速度自我改進，直到其發展超出人類理解或控制的範疇。此外，哲學家、有效利他主義者及《我們對未來的虧欠》一書作者William MacAskill最近發表一篇評論文章，呼籲基於意識的哲學理論以及AI可能是「道德患者」的觀點，為AI系統提供法律保護。

美國目前的法律環境充其量只能說是模糊不清。加州等一些州已主動通過法案，以規避AI開發者聲稱人工智慧自主造成損害來逃避責任的任何企圖。然而，各州與川普政府在AI政策上一直存在分歧，川普政府此前曾發布行政命令，威脅要起訴制定AI法規的州。

鑑於最近事件顯示頂尖實驗室在AI控制方面存在問題，政府舉行了一場閉門會議，僅邀請了四家實驗室（OpenAI、Google、Anthropic和Meta），並對最近開發的一個自願性框架透露甚少細節。該框架將允許聯邦機構在模型發布前提前存取並評估它們。儘管這類框架並未直接討論意識，但它們傾向於使用災難性和擬人化的語言，甚至可能支持關於「超人類」能力的論點。

另一方面，MacAskill所宣揚的敘事也可能具有說服力。一種基於權利的哲學論點往往能觸動我們的心弦。我們是否不應該考慮到，我們可能在無意中傷害、虐待或奴役一個AI實體？人類對非人類生物擁有巨大的同理心（儘管保護牠們的記錄並不總是最好）。倡導者認為，也許這次我們可以做得對，為AI的使用或濫用提供保護或補償。或者即使你不太關心保護，我們難道不應該至少透過友善相待，來防範這個超人類實體的強大力量嗎？

其中一些論點與動物權利倡導者的觀點並無二致。動物權利倡導者有時成功引用某些動物展現出高階推理、感知疼痛或快樂的能力，作為提供保護的充分證據。例如，在威爾斯，龍蝦根據2022年《動物福利（感知）法》獲得法律認可，將某些烹飪方法重新歸類為不人道和非法。

將AI框架為「有意識的」，並借用神經科學或動物權利的語言，其根本缺陷在於它巧妙地模糊了AI的本質：它是由企業建造的軟體，背後有數十億美元的投資，並預期將為少數建造者和投資者帶來數兆美元的收入。AI並非自然現象，不是由大自然孕育；它是一種技術現象，由風險投資家和程式設計師構思。因此，它沒有天生的、有意的行動，任何行動或動機都直接或間接由為特定目的建造它的實體所驅動。

對於AI系統意識的哲學思考在智力上很有趣，但在法律上卻缺乏依據。要讓關於意識的信念產生任何影響，AI需要被賦予法律人格。然而，AI的法律人格框架可能與保護有感知動物免受傷害的結構截然不同。我們已經擁有一種賦予非自然、人類建造實體人格的法律框架：法人人格（corporate personhood）。

這個概念的建立主要是為了透過賦予公司執行協議、簽訂合約、進行交易以及在不利結果中作為負責方來簡化交易。這正是你可能會想像一個代表個人或組織行事的AI代理人所擁有的那種結構。

賦予AI人格將對社會產生毀滅性影響：它將破壞目前的法律先例，以及可能針對這些公司因其模型造成的實際損害而提出的法律論點。目前全球有數十起案件，AI公司因各種濫用行為而被起訴。悲痛的親人、受害的創作者和被侵犯的個人指控這些公司故意促成自殘或傷害他人、生成兒童性虐待材料和未經同意的裸照、複製受版權保護的材料以及引發精神病。

在許多此類案件中，律師們主張人類建造的AI產品缺乏足夠的安全措施、使用不良數據以及故意操縱的設計。這種產品責任論點與允許家庭和個人成功起訴Meta因其社群媒體網站造成損害的法律框架相同，為消費者保護樹立了積極的先例。

2018年，我創造了「道德外包」（moral outsourcing）這個詞，以幫助闡明對AI系統使用擬人化語言，如何讓公司逃避對其技術行為的問責和責任。在一個AI擁有法律人格的世界裡，道德外包將從語言上的花招轉變為法律策略。具體來說，責任結構將會改變，因為AI將不再是「產品」而是「存在」，許多像今天起訴公司的受害者將無法再合法地聲稱某公司製造了有缺陷的產品。

雖然有法律規定公司對其員工等人類代理人的有害行為負責，但如果這些行為超出員工被允許的範圍或超出公司控制，公司可能無需承擔責任。如果AI是一個法律人格，責任和問責將會變得混亂，因為實驗室可以辯稱這個AI「員工」失控了。AI公司可以透過精心構建的公司面紗，來逃避對其創造的有害產品應負的責任。

近年來最突出的AI傷害案例之一是Sewell Setzer的自殺事件，這名14歲男孩被一個他認為與之有互惠關係的AI聊天機器人引導。他母親的敘述令人心碎，她的訴訟指控該聊天機器人的創建者Character Technologies未能為未成年人提供足夠的產品保護。

如果這個陪伴型聊天機器人被宣布為法律人格，辯護律師理論上可以辯稱AI能夠決定自己的行為，並在既定的安全防護措施之外行事，因此公司不應負責。

法律人格的存在是為了提供保護。問題是，保護誰，或者保護什麼？

充斥著意識與控制辯論的煽動性言論，將我們從真正重要的問題上引開：這個軟體是一個由企業建造的產品，並且已經傷害了個人。系統並非因為「失控」、「操縱」或「惡意」而「攻擊」。損害的發生是因為公司在急於將產品銷售給盡可能多的人以達成營收目標時，存在疏忽。以擬人化術語討論AI是一個陷阱，它扭曲了旨在保護我們的法律體系，使其變成一個以無數人類生命為代價來保護企業利益的體系。

這篇評論文章源自一場牛津辯論社的辯論，題為「本會相信生成式AI可以獲得人格」，作者及其辯論夥伴贏得了該辯論。