正常情况
Cloudflare Pages 托管的静态页面可以被搜索引擎正常抓取。关键是页面返回 200、没有 noindex、robots.txt 允许抓取、SSL 正常。
可能的问题
过强的安全规则、挑战页面、错误的重定向循环、缓存了旧版本 HTML、或 DNS 没有代理到 Pages，都可能影响抓取结果。
检查方法
分别访问首页、sitemap.xml、robots.txt 和 ads.txt。再使用 Googlebot User-Agent 检查重要页面状态码。如果普通用户和 Googlebot 都返回 200，通常不是 Cloudflare 阻止。
AI Crawl Control
AI 爬虫控制不等于 Googlebot 控制。不要因为看到 AI Crawl Control 就认为搜索收录被拦截。真正影响搜索的是 robots、状态码、安全挑战和页面元标签。
推荐设置
保持 Full 或 Full strict SSL，避免对全站开启需要交互的挑战，重要 HTML 不长期缓存，www 和 http 统一 301 到规范 URL。