Cloudflare 推出「AI 爬蟲按次付費」功能，旨在幫助網站掌握內容授權，尤其是在 AI 爬蟲日益普及的背景下。透過此功能，網站可以為其內容設定價格，要求 AI 爬蟲在存取資料前支付費用，從而控制誰可以存取內容並從中獲利，同時有效防止未經授權的資料抓取。
Cloudflare 曾指控 AI 搜尋引擎 Perplexity 使用隱形爬蟲繞過網站的 robots.txt 協定和 WAF 規則，抓取受限內容。Perplexity 的爬蟲被發現偽裝成 Chrome 瀏覽器，頻繁更換 IP 和 ASN，每天對全球網站發出大量請求。Cloudflare 隨後撤銷了 Perplexity 的「已驗證機器人」資格，並新增管制規則。此事件突顯了網站對 AI 爬蟲未經授權存取內容的擔憂，促使 Cloudflare 加速推出相關解決方案。
Cloudflare 的「AI 爬蟲按次付費」功能允許網站在免費的「Bot Fight Mode」中新增 AI-bot 專用封鎖規則，拒絕或限制未付費的爬蟲。網站可以根據需求設定不同的價格和授權條件，實現對內容授權的精細化管理。這種機制不僅防止未經授權的內容抓取，還能為合法使用資料的 AI 爬蟲提供便利，實現雙贏。透過 Cloudflare 的驗證和管制，網站能夠更有效地保護其內容，並從 AI 爬蟲的存取行為中獲益。
This is a simplified version of the page. Some interactive features are only available in the full version.
本頁為精簡版，部分互動功能僅限完整版使用。
👉 View Full Version | 前往完整版內容