CDN 服务商 Cloudflare 指责 AI 搜索引擎公司 Perplexity 使用隐蔽策略绕过网站禁止抓取的指令。Cloudflare 称它收到了客户的投诉，客户通过 robots.txt 以及 Web 应用防火墙屏蔽了 Perplexity 的搜索爬虫，然而尽管采取了这些措施 Perplexity 的爬虫仍然继续访问网站内容。Cloudflare 随后展开了调查，发现当 Perplexity 注意到 robots.txt 或防火墙规则屏蔽其爬虫后，它会使用一个隐蔽的机器人爬虫，使用一系列策略掩盖其活动。此举意味着 Perplexity 违反了实施了 30 多年的互联网规范。

blog.cloudflare.com/perplexity-is-using-stealth-undeclared-crawlers-to-evade-website-no-crawl-directives/