Cloudflare发生了什么变化,为什么它可能让你的企业在AI面前»消失»
2026年7月1日,Cloudflare宣布从2026年9月15日起,所有新接入其网络的域名,在展示广告的页面上将默认屏蔽«训练»(Training)和»代理»(Agent)类AI爬虫,只有»搜索»(Search)类爬虫会继续被自动允许。如果你的博客或企业网站使用Cloudflare,这可能意味着ChatGPT、Perplexity或Gemini无法再读取你的内容来回答客户的问题——即使你的网站在Google上排名依旧正常。
好消息是:如果你的网站在9月15日之前就已经在使用Cloudflare,默认设置不会自动改变。但很多B2B中小企业会新建域名、更换服务商,或者从未检查过这项设置——它们可能在不知情的情况下,屏蔽了如今由GEO(生成式引擎优化)带来的流量,也就是被AI模型作为信息来源引用。
你需要区分的三类AI爬虫
Cloudflare将AI流量分为三类,每一类对你的业务都有不同的意义:
- Search(搜索类):抓取你的网站以便在AI回答中引用(例如Claude-SearchBot、OAI-SearchBot)。这是你应该始终放行的一类——相当于AI时代的Googlebot。
- Agent(代理类):当用户让AI助手代替自己调研或购买时启动(例如帮买家比较B2B供应商的智能体)。屏蔽它们意味着失去这些真实转化的»隐形»访问。
- Training(训练类):收集内容用于训练未来的模型。许多企业选择屏蔽这一类以保护原创内容,同时不影响搜索和AI回答中的可见度。
真正的风险不是屏蔽训练类爬虫,而是不小心屏蔽了Search和Agent类爬虫——它们才是目前通过ChatGPT或Gemini为你带来客户的渠道。
如何检查你的网站是否已在不知不觉中屏蔽了AI爬虫
在做任何改动之前,先用以下三步检查当前状态:
- 登录Cloudflare控制台→Security → Bots → AI Crawl Control(旧套餐中为»Bot Management»),查看哪些类别被允许。
- 访问 你的域名.com/robots.txt,查找
GPTBot、ClaudeBot、Claude-SearchBot、PerplexityBot或Google-Extended旁边是否有Disallow行。 - 如果你使用WordPress,检查是否有安全插件(防火墙、反爬虫工具)在服务器层面屏蔽了AI爬虫的user-agent,而这部分不受Cloudflare控制。
不失去AI可见度的Cloudflare配置分步指南
如果你确认有内容被屏蔽,或者想提前为9月的变化做好准备,可以按以下步骤操作:
- 始终允许Search类别。它是你的品牌在ChatGPT、Perplexity和Google AI Overviews中被引用的基础。
- 评估是否允许Agent类别——如果你的产品或服务需要通过比较来购买或询价(软件、专业服务、B2B原材料等),这些都是真实用户委托AI助手做调研。
- 逐案决定Training类别。如果你的内容本身就是竞争优势(专有方法论、报告、定价),屏蔽它是合理的,也不会影响你在搜索或AI回答中的可见度。
- 如果你手动管理robots.txt,可以使用Content Signals新增的»use»参数,明确声明允许每类爬虫的具体用途。
- 8月份再检查一次,赶在9月15日默认设置生效之前,尤其是如果你打算更换服务商或上线新域名。
没有使用Cloudflare?同样的问题也可能影响你
其他主机和CDN服务商也在采用类似的»默认屏蔽AI爬虫»策略,遵循的是同样的»保护变现内容»逻辑。如果你使用其他服务商,应明确要求技术团队或代理机构确认robots.txt以及任何Web应用防火墙(WAF)对主流AI user-agent的设置。如果你同时也在投入让Google在AI生成的回答中展示你的品牌,这一点就更加重要:如果爬虫根本读不到内容,再好的内容优化也毫无意义。
你的B2B企业本周需要做出的决定
«全部屏蔽»或»全部放行»没有统一答案:这取决于你的竞争优势究竟在于内容本身(屏蔽Training),还是在于被AI助手发现并推荐(放行Search和Agent)。唯一没有例外的错误,就是不去检查这项设置,结果到了10月才发现,自己的AI流量已因为一个默认设置的改变而降为零,却没人注意到。
如果你希望我们一起检查你网站的设置和GEO策略,Boostify可以在Cloudflare的变更生效之前,为你做一次快速审计。
