博客写再好百度不抓取？你的网站可能踩了这5个坑

标签：SEO优化,网站抓取,技术教程,百度优化

辛辛苦苦写的文章，百度就是不收录

这种感觉太难受了。

我认识个博主朋友，每天吭哧吭哧写文章，更了大半年，几十篇内容，结果百度只收录了首页。文章写得再好，没人看到，有什么用？

后来帮他排查原因，发现问题挺多的：网站加载慢得像蜗牛、动态参数太多蜘蛛绕晕了、robots.txt还把整站给禁止抓取了……

今天把常见的抓取问题总结一下，帮你排查一下自己的站有没有类似情况。

问题一：网站加载速度太慢

百度蜘蛛不是无限耐心等你的。

官方文档说过，Spider抓取页面有超时限制。如果一个页面加载超过10秒还没响应，蜘蛛可能就放弃抓取了，直接走人。

怎么查网站速度

用百度搜索资源平台的抓取诊断工具，可以看蜘蛛访问你页面的加载时间：

1. 登录百度搜索资源平台

2. 进入「抓取诊断」

3. 输入你想检查的URL

4. 看结果里的耗时数据

也可以用PageSpeed Insights或者WebPageTest这些工具测速，输个URL就能看到详细报告。

常见拖速度的原因

1. 服务器响应慢

买服务器别贪便宜，那种99一年的虚拟主机，访问一多就卡。我之前图便宜买的某家虚拟主机，首屏加载要5秒，换了ECS之后直接降到1秒以内。

2. 图片太大

这是个重灾区。我看过很多博客文章，配图动不动就几MB一张，浏览器加载起来特别慢。

解决办法：用TinyPNG压缩图片，或者直接转成WebP格式。100KB以内的图片够了，别动不动就上几MB的。

3. 没有开启缓存

浏览器缓存没配置的话，每次用户访问都要重新下载所有资源。配置下Cache-Control和ETag，能省不少事。

4. 渲染阻塞的JS/CSS

写在head里的JS会阻塞页面渲染，蜘蛛等不及就走了。把非必要的JS挪到页面底部，或者用async/defer加载。

问题二：动态参数太多，蜘蛛陷入死循环

这是个技术问题，但挺常见的。

有些博客系统会自动给URL加一堆参数，比如：

```

https://example.com/post/123.html?page=1&sort=dateℴ=asc&from=mobile&ref=home

```

同一篇文章，不同参数组合能生成几十个URL。蜘蛛一看：哇这么多页面，都是新的，爬！爬进去发现内容差不多，权重就分散了。

怎么解决

1. URL静态化

把URL里的参数去掉，变成干净的静态链接。大部分博客系统都支持URL静态化设置，WordPress、Z-Blog这些后台点点就能开。

2. canonical标签

如果静态化做不了，给页面加个canonical标签，告诉蜘蛛哪个是规范URL：

```html

```

这样蜘蛛就知道只收录这个URL，其他参数页都不管。

3. URL参数规则

百度搜索资源平台有个URL参数设置功能，可以告诉蜘蛛哪些参数会影响页面内容，哪些不会。

问题三：robots.txt配置错误

这个坑我亲眼见过好几个人踩过。

robots.txt是用来告诉搜索引擎哪些页面可以抓、哪些不能抓的文件。如果写错了，可能把整站都禁止抓取了。

常见错误写法

1. 禁止所有爬虫

```txt

User-agent: *

Disallow: /

```

这是把所有搜索引擎都拒之门外，千万别这么写！

2. Disallow后面有空格

```txt

User-agent: *

Disallow: / # 注意斜杠后面有空格

```

有些爬虫会把「/ 」当成另一个目录来处理，结果整个站都被禁了。

正确的robots.txt长这样

```txt

User-agent: *

Allow: /

禁止抓取后台、管理目录

博客写再好百度不抓取？你的网站可能踩了这5个坑-第1张图片-无双博客

Disallow: /admin/

Disallow: /wp-admin/

Disallow: /login/

禁止抓取tag列表、排序页面

Disallow: /tag/

Disallow: /?*

Sitemap: https://www.example.com/sitemap.xml

```

写完robots.txt之后，去百度搜索资源平台的「Robots」工具检测一下，看看配置对不对。

问题四：内链结构混乱

蜘蛛爬网站靠的是链接，从首页顺着链接一层层往下抓。

如果你的内链结构有问题，有些页面可能永远都爬不到。

常见问题

1. 孤岛页面

有些页面完全没有入口，蜘蛛找不到。比如写了篇文章，但既没有在首页推荐，也没有在相关文章里链接过，那蜘蛛基本不会发现这篇文章。

2. 层级太深

有些博客的分类特别多，文章藏在五六个分类层级下面。蜘蛛可能爬到第三层就累了，后面的文章就漏掉了。

建议保持三层以内的结构：首页 → 分类页 → 文章页。三步能到达任何页面。

3.nofollow滥用

有人为了"集中权重"，给所有出站链接都加nofollow。其实没必要的，正常的推荐链接不用加nofollow。

怎么检查

用Screaming Frog爬一下你的网站，它能生成网站地图、发现孤岛页面、显示页面层级。

免费版能爬500个URL，够一般博客用了。

问题五：内容质量问题

这个不是技术问题，但也很重要。

百度对低质量内容的识别越来越准了，有些内容就是不被收录。

什么样的内容容易被判定为低质量

1. 采集/伪原创

直接复制别人文章，或者用工具洗稿的内容，基本不会收录。即使收录了，很快也会被清除。

2. 内容太短

几百字的文章，除非关键词竞争特别小，否则很难有排名。至少写到1500字以上吧。

3. 关键词堆砌

在文章里塞一堆关键词，密度高得离谱。这种老套的SEO手法早就没用了，反而会被惩罚。

4. 内容不相关

标题写的是A，内容讲的是B，完全不搭。这种用户体验很差，搜索引擎也不傻。

怎么写能被收录的内容

记住三点：

1. 原创首发

自己写的，不是复制粘贴的，也不要同时发到其他平台（至少首发在你自己博客）。

2. 实用有料

解决一个具体问题的教程、分析某个现象的文章，比泛泛而谈的内容容易收录得多。

3. 图文并茂

有配图、有代码示例、有数据支撑的内容，比纯文字更容易被认为是好内容。

抓取诊断工具的使用

百度搜索资源平台有几个特别实用的工具：

抓取诊断

可以模拟百度蜘蛛抓取某个页面，看返回状态码、加载时间、是否被劫持。

每次发新文章之后，用这个工具诊断一下，看看蜘蛛能不能正常访问。

抓取频次

如果蜘蛛来得很勤快，但就是不怎么收录你的页面，可能是内容质量问题。如果蜘蛛来得很稀疏，可能是网站有抓取问题。

站点天级收录/周级收录

这是付费功能，可以更快让蜘蛛来抓取新页面。有预算的话可以用。

常见问题

Q: site命令查不到页面，但文章明明发布了，是什么原因？

A: site命令不准，建议用百度搜索资源平台的「收录量」查询，数据更准确。也可能是文章刚发布还没被抓取。

Q: 文章发布多久能被收录？

A: 不一定，快的话当天，慢的话一两周都有。持续更新、高质量内容的站点收录会快一些。

Q: robots.txt里Disallow的页面会被收录吗？

A: 有可能。Disallow只是告诉蜘蛛不要去抓，但不保证不收录。如果其他页面链接了这个页面，蜘蛛还是会发现并可能收录，只是不传递权重。

Q: 页面打不开404会被惩罚吗？

A: 偶尔有404没问题，但大量404说明网站有问题，可能会影响整体评价。建议用301重定向或者百度搜索资源平台的死链提交功能处理。

Q: http和https混用会影响抓取吗？

A: 会。最好全站统一用https，已经http的做301跳转到https。混用会让蜘蛛困惑，不知道该收录哪个。

博客写再好百度不抓取？你的网站可能踩了这5个坑