英國警方正積極擁抱人工智慧革命，但《WIRED》雜誌的一項調查揭露了某地區在預測分析實驗中混亂的內幕。

「思維家庭資料庫」（Think Family Database）儲存了近五十萬名居住在英國布里斯托市居民的紀錄。多年來，其中很少有人知道這個資料庫的存在。

該資料庫由布里斯托市議會和艾芬與薩默塞特警方於2016年啟用，儲存了各種敏感資訊，包括警方情報報告、住房狀況、心理健康紀錄、青少年懷孕、育兒課程參與情況以及免費學校午餐資格。在此敏感數據之上，官方建立了機器學習模型，為數千名成人和兒童分配分數。

他們希望藉此建立該地區「威脅、危害和風險的全貌」。在2022年初一場協助官員打擊兒童剝削犯罪的活動中，一位警方的數據科學家如此描述部分方法：「我基本上把所有數據倒進一個大桶裡，用數據科學的刮刀攪拌，然後我們就為每個人得出一個漂亮的風險分數。」

「思維家庭資料庫」內的風險評分只是艾芬與薩默塞特警方龐大預測分析計畫的一部分。該警局至少創建了23個獨立模型，其中包括用於識別人們犯下竊盜、未出庭、失蹤或成為家庭暴力受害者的風險演算法。一位高級警官曾描述建立該地區最危險罪犯的「排行榜」，這顯然是指「罪犯管理應用程式」（Offender Management App），該應用程式旨在儲存該地區約30萬人的數據。

警方如何開發和使用其預測工具，對公眾而言一直不甚明朗。布里斯托當地警方問責團體負責人約翰·佩格拉姆（John Pegram）表示，直到2023年，也就是「罪犯管理應用程式」創建多年後，他才聽說這個應用程式。當他得知此事時，他開始懷疑自己可能也被納入其中。佩格拉姆說：「我想我知道我在這個應用程式裡。」

2024年初，佩格拉姆提交了一份請求，要求了解警方如何使用他的數據。警方拒絕透露。數月後，在佩格拉姆聘請律師處理他的案件後，警方證實他確實在使用該應用程式，但拒絕進一步說明。與布里斯托、英國乃至全球越來越多的人一樣，佩格拉姆不知道自己是否被演算法評分、分數是多少，以及這可能如何影響他與當局的互動。

《WIRED》與非營利新聞機構Liberty Investigates，以及Bristol Cable和Lighthouse Reports合作，透過公共記錄請求獲得了數百頁文件，以建立迄今為止最全面的艾芬與薩默塞特地區數據收集和預測分析實驗的圖像。（Liberty Investigates的母組織Liberty曾早期參與對該計畫的潛在法律挑戰，並持續支持佩格拉姆的訴訟。）

調查顯示，至少有兩個風險評分模型在布里斯托市議會工作人員認為其不再可信後悄然廢棄。先前未報導的文件顯示，政府檢查員和獨立審查員強調該計畫某些元素驚人的透明度不足，並警告這些系統可能損害公眾信任。根據一位為《WIRED》審查數據的獨立分析師表示，警方向《WIRED》披露的數據，包含超過36,000個模型性能分數，在某些情況下似乎顯示出「確實糟糕的預測表現」。

這些發現正值英國似乎準備在刑事司法系統中全面擁抱預測分析和人工智慧之際。一位熟悉的面孔正在引領這股潮流：前艾芬與薩默塞特警局總警司安迪·馬什（Andy Marsh），他現在是英格蘭和威爾斯各地警局的國家標準制定機構負責人。作為警政學院（College of Policing）的執行長，馬什曾表示，有效的AI應該「像海洛因一樣注入」，以加速英國警務工作。

在最近的一次採訪中，馬什表示他的組織正在審查大約100個目前部署的AI工具，包括用於預測警務的工具。「我們的工作是測試那些運作正常的工具，用嚴格的評估來測試它們，然後讓它們像野火一樣在警務系統中蔓延。」

2014年，艾芬與薩默塞特警方在多方面承受壓力。該警局與英國其他警局一樣，預算遭到削減。其總警司被停職。一份官方報告指出其未能遵守保護部分家庭暴力受害者的程序。該報告發布後，該警局的績效主管表示：「我們相信預測分析是解決方案。」

兩年前轉任布里斯托市議會職位的加里·戴維斯（Gary Davies），一位前警司，也有類似的想法。戴維斯在市議會領導一個支持兒童和家庭的團隊。他說，當家庭陷入危機時，「這顯然是顯而易見的」。但要發現那些正處於螺旋式下降頂端的人則困難得多。戴維斯認為答案在於數據。

一個孩子的學校可能記錄了缺勤率的增加，而警方可能知道這個孩子最近是否首次目睹了家庭暴力。單獨來看，這些可能不足以觸發社會服務的介入。但如果結合起來呢？他說：「如果你能看到全貌，你就會意識到他們所處的軌跡正朝著錯誤的方向發展。」

從2015年開始，一小群布里斯托市議會和艾芬與薩默塞特警方的工作人員搬進了該市的一個警察局，共同解決這個問題。「布里斯托洞察」（Insight Bristol）團隊由戴維斯領導，開始匯集來自公共部門的數據，為前線工作人員提供他們可能需要的關於兒童和家庭的所有資訊。

「布里斯托洞察」團隊並未徵求居民同意，就將他們的數據用於「思維家庭資料庫」。戴維斯解釋說，該團隊依賴「法律途徑」（legal gateways），這個術語描述了當數據共享被認為對於履行機構的法律義務（例如保護兒童的需要）是必要時的情況。「如果你給人一種人們有同意權的印象，那麼這會造成一種虛假的幻想，因為實際上，作為地方當局或警方或其他機構，我們必須保留這些記錄。」最初，居民無法選擇退出資料庫；後來，市議會在其稅務信函中加入了退出選項。

最近退休的戴維斯相信這個計畫確實有助於保護兒童。他說：「它提高了對兒童和家庭風險和脆弱性的理解。它以更有效率的方式提供了這些資訊。」談到如何向公眾傳達這些資訊時，戴維斯說：「很難從人群中獲得任何熱情或興趣。」他回憶說，那些參與討論的人表示他們理解使用個人數據的必要性，他總結回饋說：「我們不介意你用它來支持我們，但我們不希望你用它來對付我們。」

當「布里斯托洞察」團隊忙於創建「思維家庭資料庫」時，艾芬與薩默塞特警方已開始探索預測分析的潛力。2016年3月，該警局的倫理委員會開會審議這項工作應如何進行。成員們建議「必須仔細考慮使用哪些數據」以及「過程中使用的變數」，並得出結論：「系統的使用必須謹慎對待，並確保沒有偏見。」委員會建議，如果該警局的預測分析工作要繼續進行，「必須告知公眾為何以及如何進行這些程序。」

一旦「思維家庭資料庫」的編纂工作完成，一位警方的數據科學家便主導了該計畫預測風險模型的開發。其中一個模型旨在識別有性剝削風險的兒童。這個被稱為CSE的模型，利用了警方、市議會和其他公共機構持有的廣泛數據集。兒童保護慈善機構Barnardos提供了涉及1,000名已知曾遭受性虐待兒童的匿名數據。

該模型旨在檢測具有相似特徵的兒童。系統分析了兒童的社會關係，以確定他們是否與任何其他被認為容易受剝削或可能是剝削者的人有聯繫。文件顯示，被標記為「有需要」、學校「長期」缺勤或有心理健康問題會增加CSE模型創建的分數。

警方利用如此廣泛數據的努力引發了早期擔憂。2018年，卡迪夫大學數據正義實驗室（Data Justice Lab）審查了包括布里斯托在內的幾個英國公民評分計畫，指出：「所使用的變數實際上可能是貧困的代理指標。」戴維斯回憶說，大多數風險分數最高的兒童已經在當局的關注範圍內。他說：「他們是已經由社工和家庭工作者處理的複雜兒童。大部分的輸出結果告訴你的都是你已經知道的事情。」

儘管如此，警方對預測分析的熱情並未減退。一位警方的商業情報經理在2018年表示：「我們希望今天做出選擇，以防止犯罪從一開始就發生。」根據布里斯托市議會的說法，一個預測兒童犯罪剝削的模型於2019年推出，再次利用了來自廣泛公共機構的數據，包括家庭是否獲得住房補助或拖欠租金，以及兒童是否獲得免費學校午餐。

那一年，總警司安迪·馬什宣布：「在12個月內，艾芬與薩默塞特警局的每一個部分都將透過預測分析和視覺化來驅動。」

在英國各地，其他執法機構也進行了自己的預測警務實驗，結果好壞參半。肯特郡警方是英國第一個測試這項技術的警局，最近取消了與美國公司PredPol的合約，稱很難證明該計畫能減少犯罪。達勒姆郡警方則因使用社會人口數據來試圖預測再犯風險而受到抨擊。相比之下，艾芬與薩默塞特警方看起來像是一個成功案例。

然而，在幕後，警方的預測分析工作似乎「一團糟」，根據倫敦皇家霍洛威大學研究員艾爾·皮爾森（Elle Pearson）的說法，她正在完成一項研究這些計畫的博士學位。皮爾森採訪了十多名來自警方和地方議會的工作人員，她說：「當我開始研究時，沒有人能告訴我他們有哪些數據，數據來自哪裡，或者哪個系統正在使用哪些數據。」

隨著時間的推移，皮爾森觀察到一種「功能蔓延」（function creep），系統變得更加廣泛，結合了更多數據，並超越了其最初的目的。皮爾森說，雖然有「認真負責」的團隊監督數據分析的開發，但透明度很低。「在某些情況下，可能只有一個人正在創建這些風險模型，而這些模型正在做出可能影響數十萬人的決策。」

到2021年，根據《WIRED》獲得的政府記錄中對「布里斯托洞察」的審查，數據倫理與創新中心（Centre for Data Ethics and Innovation，現已解散）的官員聽聞了與該計畫相關的「倫理緊張」。審查員表示，「大量的敏感數據」被用於風險評分，並指出這些數據是透過「法律途徑」而非透過與當地居民建立信任來收集的。