Cloudflare 推出的「AI 爬蟲按次付費」功能如何幫助網站掌握內容授權？

Cloudflare「AI 爬蟲按次付費」功能如何掌握內容授權

Cloudflare 推出的「AI 爬蟲按次付費」功能，旨在幫助網站在 AI 爬蟲日益普及的情況下，更好地掌握內容授權。這一功能允許網站為其內容設定價格，讓 AI 爬蟲在存取資料前必須支付費用。透過這種方式，網站能夠控制誰可以存取其內容，並從中獲利，同時也能有效防止未經授權的資料抓取。

背景：Cloudflare 與 Perplexity 的爬蟲爭議

Cloudflare 指控 AI 搜尋引擎 Perplexity 使用隱形爬蟲繞過網站的 robots.txt 協定和 WAF 規則，抓取受限內容。Perplexity 的爬蟲被發現偽裝成 Chrome 瀏覽器，頻繁更換 IP 和 ASN，每天對全球網站發出大量請求。Cloudflare 隨後撤銷了 Perplexity 的「已驗證機器人」資格，並新增管制規則。這一事件凸顯了網站對於 AI 爬蟲未經授權存取內容的擔憂，也促使 Cloudflare 加速推出相關解決方案。

「AI 爬蟲按次付費」功能的具體應用

Cloudflare 的「AI 爬蟲按次付費」功能，讓網站可以在免費的「Bot Fight Mode」中新增 AI-bot 專用封鎖規則。這使得網站能夠拒絕或限制未付費的爬蟲，從而確保只有經過授權的 AI 爬蟲才能存取其內容。網站可以根據自身需求設定不同的價格和授權條件，實現對內容授權的精細化管理。透過這種機制，網站不僅可以防止未經授權的內容抓取，還能為合法使用其資料的 AI 爬蟲提供便利，實現雙贏。