🤖 内容说明:本文由 AI 辅助生成,经东扬传媒人工审核编辑后发布。
⚠️ 免责声明:本文内容仅供参考,不构成任何专业建议。具体操作请结合实际情况并咨询专业人士。东扬传媒不对因使用本文信息导致的任何损失承担责任。

上个月有个做工业配件的客户找我,说网站流量三个月掉了四成,百度统计里关键词排名没怎么动,但询盘就是少了。我让他把网址发过来,用几个AI搜索工具搜了一下他们主推的产品词——结果翻了三页,压根没他们官网的影子。问题不在内容,也不在外链,是他网站里几个设置直接把AI爬虫挡在门外了。

这事现在挺普遍的。传统搜索引擎的规则大家多少懂一点,但AI搜索的抓取逻辑不太一样,它更挑剔,也更沉默——被屏蔽了不会给你发通知,你只能从流量数据里后知后觉。

下面这5个设置,建议你今天就去后台对一遍。

一、robots.txt 里误伤了AI爬虫

很多人建站时为了省事,直接套用模板里的robots.txt,里面可能写着禁止抓取某些目录。问题是,现在主流AI搜索的爬虫标识和传统搜索引擎不一样,比如GPTBot、ClaudeBot、PerplexityBot这些,有些模板文件会一刀切地把带“bot”的UA全挡掉。

怎么查:浏览器打开你的域名/robots.txt,看有没有 Disallow 规则覆盖了主要栏目。如果不确定,可以搜“robots.txt 测试工具”,输入几个AI爬虫的UA模拟抓取,看返回的是允许还是禁止。

修复方式很简单,在文件里显式放行:

  • User-agent: GPTBot → Allow: /
  • User-agent: ClaudeBot → Allow: /
  • User-agent: PerplexityBot → Allow: /

放行不等于会被收录,但至少别自己把门锁上。

二、页面被 noindex 标签悄悄标记

这个坑更隐蔽。有些建站系统在测试阶段会给页面加 noindex,上线后忘了去掉;还有些SEO插件默认给分类页、标签页加 noindex,结果把真正有内容的聚合页也一起屏蔽了。

检查方法:打开几个核心页面,右键查看源代码,搜索“noindex”。如果出现在 meta robots 标签里,说明这个页面明确告诉搜索引擎和AI:别收录我。

另外留意 X-Robots-Tag 这种写在HTTP响应头里的标记,它在源代码里看不到,需要用开发者工具的Network面板或者curl命令查。不少企业站栽在这上面,因为改起来不像改meta那么直观。

三、内容全塞在图片和JS里,AI读不到

AI搜索抓取页面时,对纯图片文字和JS动态渲染的内容识别能力有限。我见过一些企业站,产品参数做成一张大图,公司介绍用JS加载,页面上看着挺漂亮,但爬虫拿到的HTML里几乎是空的。

自查一下:把页面JS禁用后刷新,如果主要内容消失了,那AI大概率也读不到。或者用“view-source”看源码,搜你的核心关键词,搜不到就说明内容没进HTML。

改法不复杂——产品参数用表格或列表写出来,图片配alt文字,JS渲染的内容尽量做服务端渲染或者加静态兜底。不用推倒重来,把最重要的那几个页面处理掉就行。

四、缺少结构化数据,AI不知道你是谁

AI搜索在生成答案时,倾向于引用结构清晰、实体明确的内容。如果你的页面没有Schema标记,AI很难判断这是公司官网、产品页还是随便一篇博客。

优先加这三种:

  1. Organization:告诉AI公司名称、logo、联系方式、社交账号
  2. Product 或 Service:标注产品名、描述、价格区间
  3. FAQPage:把常见问答用结构化数据标出来,被AI引用的概率会高不少

不会手写代码的话,用Google的Structured Data Markup Helper或者WordPress的Schema插件都能生成。加完用Rich Results Test测一下有没有报错。

五、网站打开速度拖后腿,爬虫直接放弃

AI爬虫的抓取预算比传统搜索引擎更紧,页面加载超过几秒,它可能扭头就走。国内企业站常见的问题:首页堆了太多轮播图、没压缩的图片、一堆用不上的统计脚本。

先测速,PageSpeed Insights或者站长工具都行。重点看三件事:图片有没有压缩成WebP、有没有开CDN、JS和CSS有没有合并压缩。这三样做完,大部分站点能快一半以上。

如果技术那边排期慢,至少先把首页和几个落地页的图片压一遍,这是投入产出比最高的一步。

今天就做一件事

打开你的网站,在地址栏域名后面加上 /robots.txt,看一眼里面有没有误伤的规则。就这一分钟的动作,可能比你再写十篇原创文章都管用。流量下滑有时候不是内容不行,是门没开对。