針對雲端防護服務商Cloudflare指控AI搜尋引擎Perplexity使用隱形爬蟲繞過robots.txt和WAF規則，Perplexity發言人Jesse Dwyer反駁稱這些指控僅是Cloudflare的「銷售話術」，並否認相關爬蟲為Perplexity所有。
Cloudflare指出，即使網站已在robots.txt檔案中明確禁止Perplexity的官方爬蟲抓取資料，並透過Web應用程式防火牆（WAF）進行封鎖，Perplexity仍使用偽裝成Chrome瀏覽器的未宣告爬蟲來抓取受限內容。Cloudflare進一步表示，這些爬蟲會忽略robots.txt的指令，並設法繞過WAF的封鎖，對網站的信任機制造成衝擊。
Perplexity先前已因未經授權引用全文而面臨抄襲爭議，Cloudflare則推出了「AI爬蟲按次付費」功能，讓網站能為資料存取設定明確定價。Cloudflare還在其免費的「Bot Fight Mode」中新增了AI-bot專用封鎖規則，讓網站能更容易地拒絕或限制未付費的爬蟲，藉此將資料控制權回歸內容擁有者。
This is a simplified version of the page. Some interactive features are only available in the full version.
本頁為精簡版，部分互動功能僅限完整版使用。
👉 View Full Version | 前往完整版內容