🤖 内容说明:本文由 AI 辅助生成,经东扬传媒人工审核编辑后发布。
⚠️ 免责声明:本文内容仅供参考,不构成任何专业建议。具体操作请结合实际情况并咨询专业人士。东扬传媒不对因使用本文信息导致的任何损失承担责任。

上周有个做工业配件的客户打来电话,说官网三个月没询盘了。我问他最近改过什么,他说没动内容,就是换了服务器。我打开他的站,首页能开,但用几个AI搜索工具查品牌词,出来的还是半年前的旧快照。

问题不在内容,在技术层。AI搜索的抓取逻辑和传统搜索引擎不完全一样,很多站长按老经验优化,结果新内容压根没被AI索引。下面这六件事,建议你今天就打开网站后台对一遍。

一、robots.txt 有没有把 AI 爬虫挡在门外

不少建站公司为了“防止内容被偷”,会在 robots.txt 里加一堆 Disallow,顺手把 GPTBot、ClaudeBot、PerplexityBot 这类 UA 也屏蔽了。站点自己不知道,AI 那边自然收录不到。

操作很简单:浏览器输入 你的域名/robots.txt,看有没有针对 AI 爬虫的禁止规则。如果有,确认是不是你主动加的。不是的话,删掉对应行,保存后去 Google Search Console 或 Bing 站长工具里重新提交一次。

二、页面是不是全靠 JS 渲染出来的

这是最容易被忽略的一条。很多企业站用前端框架做成单页应用,文字内容全部靠 JavaScript 动态加载。人看着没问题,但 AI 爬虫拿到的 HTML 里是空的。

验证方法:在浏览器里按 Ctrl+U 看网页源代码,或者用 curl 命令抓一下页面。如果源码里搜不到你的产品名称、公司介绍这些关键词,说明内容没进初始 HTML。

解决办法有两个方向:一是让技术把关键内容做服务端渲染;二是至少给首页和几个核心栏目页做静态化。短期改不动的,先把重要文字放在 noscript 标签里兜底。

三、结构化数据有没有标

AI 搜索在生成答案时,很依赖页面上的结构化信息来判断“这是什么、属于谁、可信度如何”。没有结构化数据的页面,被引用的概率会低不少。

至少给这几类页面加上:

  • 首页:Organization 标记,写清公司名、logo、联系方式、社交账号
  • 产品页:Product 或 Service 标记,含名称、描述、价格区间
  • 文章页:Article 标记,含作者、发布时间、更新时间
  • 全站:BreadcrumbList 面包屑标记

不会手写就用 Schema.org 的官方示例改,或者装个 WordPress 插件自动生成,改完用 Rich Results Test 测一下有没有报错。

四、页面加载速度和移动端体验

AI 爬虫的抓取预算比传统搜索引擎更紧。一个页面如果三秒还打不开,它可能直接跳过。图片没压缩、服务器在国外、插件装太多,都会拖慢速度。

自查清单:

  1. 用 PageSpeed Insights 跑一遍首页和主要栏目页
  2. 首屏大图压到 200KB 以内,优先用 WebP 格式
  3. 检查有没有加载失败的第三方脚本,尤其是统计代码和客服插件
  4. 手机端打开看看,字体是不是太小、按钮是不是点不到

移动端体验差,不只是用户会走,AI 也会降低对你站点的评价。

五、sitemap 有没有及时更新

很多公司的 sitemap.xml 还是建站时生成的,后来新增的产品页、新闻页一个都没进去。AI 爬虫找不到入口,自然收不到新内容。

去后台看看 sitemap 的更新时间。如果还是几个月前,赶紧重新生成,并在 robots.txt 里加上 Sitemap 地址。WordPress 可以用 Yoast 或 Rank Math 自动更新,其他 CMS 找技术手动生成一次,之后养成发新内容就同步的习惯。

六、canonical 标签有没有指错

canonical 是告诉搜索引擎“哪个才是正版页面”。如果标签写错,比如所有页面都指向首页,或者 http 和 https 混着写,AI 会认为你的页面是重复内容,直接忽略。

检查方法:随便打开一个产品页,看源码里的 canonical 链接是不是这个页面自己的地址,并且和实际访问的协议、域名完全一致。带 www 和不带 www 要统一,别一会儿一个样。

这六条里,前三条是“能不能被收录”,后三条是“收录了能不能被引用”。顺序别搞反,先解决进不进门的问题。

今天能动手的:打开你官网的 robots.txt 和任意一个产品页的源代码,花十分钟确认这两处没有明显错误。就这一步,可能比你再写十篇软文都管用。