Cloudflare 宣布了一項新政策，要求 AI 產業區分用於傳統搜尋（如 Google Search）和用於 AI 代理及訓練的網路爬蟲。從 2026 年 9 月 15 日起，Cloudflare 的預設設定將阻止「混合用途」爬蟲抓取任何託管廣告的頁面。
這表示，除非網站所有者調整設定，否則結合了搜尋、代理使用和訓練的爬蟲將預設被阻止抓取這些網站。Cloudflare 表示，這些預設設定的變更將適用於新的 Cloudflare 客戶、現有客戶建立的新網站以及所有現有的免費客戶。
此舉可能會影響 AI 模型供應商如何獲取網路內容以進行訓練，並為其代理服務提供支援。Cloudflare 指出，大多數網站所有者希望他們的內容可以透過搜尋甚至 AI 服務被發現，但他們也希望保護其智慧財產權不被免費使用。
Cloudflare 特別點名「全球最大的搜尋引擎」（明顯指 Google），稱其比其他 AI 公司多取得約兩倍的資訊。這是因為這家搜尋巨頭讓客戶很難在不被用於 AI 的情況下，仍能保持其內容的可發現性。
Google 過去曾反駁這種概括性說法，指出它提供一個名為 Google Extended 的機器人，讓網站所有者可以選擇不讓其內容用於訓練和 AI 產品及服務，例如 Gemini Apps 和 Vertex API。使用此機器人不會影響網站被 Google Search 收錄。然而，這家科技巨頭的旗艦 Googlebot 仍會為搜尋目的進行爬取，包括 AI 概覽和 AI 模式等 AI 功能。
Cloudflare 共同創辦人兼執行長 Matthew Prince 在宣布這項消息時表示：「既然網路上的大部分流量已非人類產生，我們必須更進一步、更快行動，才能建立一個永續的生態系統。」他指的是最近機器人流量首次超越人類流量的里程碑，而這一轉變原本預計要到明年才會發生。
Prince 說：「Cloudflare 的新工具和合作夥伴關係為網站所有者提供了更高的能見度和商業機會，並讓那些意圖明確透明的 AI 公司受益。我們希望我們提出的預設變更，能鼓勵混合用途的爬蟲將搜尋、代理使用和訓練區分開來。」
儘管 Cloudflare 提供多種產品來幫助用戶啟動自己的 AI 系統，但該公司也發布了一系列工具，讓發布商在 AI 時代能更好地控制其內容。近年來，Cloudflare 推出了對抗 AI 機器人的工具，包括一個允許網站向 AI 機器人收取抓取費用的市場，稱為「按爬取付費」（Pay Per Crawl）。
Cloudflare 表示，「按爬取付費」現在也演變為「按使用付費」（Pay Per Use），這將允許發布商在他們的內容創造價值時向 AI 公司收費，而不僅僅是在內容被抓取時。
這項改變也有助於為 AI 模型供應商節省發布商的頻寬和運算資源。Cloudflare 的數據顯示，AI 爬蟲超過 50% 的抓取流量都花費在重新抓取未更改的頁面上。
為了實施這項政策，Cloudflare 最初與兩個合作夥伴 Ceramic.ai 和 You.com 合作。當發布商選擇加入時，只要他們的內容出現在 Ceramic 的 AI 搜尋結果中，或 You.com 存取了他們的付費內容，發布商就能獲得報酬。Cloudflare 表示，其他 AI 公司可以根據其運作方式自訂此模型。
