Cloudflare推出「AI爬蟲按次付費」功能對內容擁有者有何意義？

Cloudflare推出「AI爬蟲按次付費」功能對內容擁有者的意義

Cloudflare 近期推出「AI爬蟲按次付費」功能，旨在解決 AI 搜尋引擎未經授權抓取網站內容的問題。此舉的背景是 Cloudflare 發現 AI 搜尋引擎 Perplexity 透過隱形爬蟲繞過網站的 robots.txt 協定和 WAF 規則，持續擷取受限的網頁內容。這不僅違反了網路共識，也衝擊了網站對合法爬蟲的基本信任機制。

對內容擁有者的具體意義

1. 資料定價權：透過「AI爬蟲按次付費」功能，內容擁有者可以針對其資料設定明確的存取價格，使得 AI 爬蟲必須付費才能獲取資料。這讓內容生產者重新掌握了談判主導權，將「給錢才給料」的權力掌握在自己手中。
2. 加強內容保護：Cloudflare 在其免費的「Bot Fight Mode」中新增了 AI-bot 專用封鎖規則，網站只需一鍵即可拒絕或限制未付費的爬蟲。這使得內容擁有者能更有效地阻止未經授權的資料抓取行為，保護自身權益。
3. 維護網路信任：Cloudflare 的行動不僅是技術上的防禦，更是在維護網路社群中長期建立的信任機制。當 AI 爬蟲不再能輕易繞過網站的禁止抓取指令時，有助於重建網站對「守規矩的爬蟲都會自我標示、遵守限制」這一原則的信心。

背景事件：Perplexity 的爭議

Cloudflare 指出，Perplexity 在被網站封鎖後，採取偽裝成 Chrome 瀏覽器的未宣告爬蟲來抓取資料，這種行為違背了 RFC 9309 規範。Cloudflare 先接獲多家客戶反映，即使已在 robots.txt 和 WAF 中封鎖 Perplexity 的官方爬蟲，網站內容仍遭擷取。為驗證這一點，Cloudflare 購買了數個全新的測試網域，並在其中下達「全面禁止爬蟲」指令，結果顯示 Perplexity 確實繞過了這些限制。儘管 Perplexity 發言人否認相關指控，但該公司此前已因未經授權引用全文而陷入「抄襲」爭議。

通過推出「AI爬蟲按次付費」功能並揭露 Perplexity 的違規行為，Cloudflare 旨在提高內容擁有者對資料使用的控制權，並推動建立更公平、透明的網路環境。