robots.txt 和 sitemap 经常被混淆，其实两者作用完全相反：一个是给蜘蛛划禁区，一个是给蜘蛛画地图。配置对了事半功倍，配置错了反而把蜘蛛挡在门外。

一、robots.txt：告诉蜘蛛别去哪里

robots.txt 放在站点根目录，用来声明哪些目录不允许抓取。常见的错误是把 Disallow 写成全站，导致整个站点都不被抓取；或者误把重要的栏目也禁掉。写完后一定要逐条检查。

二、sitemap：告诉蜘蛛去哪里

sitemap 是站点页面的清单，通常为XML格式。它不能保证收录，但能帮助蜘蛛更快发现新页面。条目超过五万要分片，URL要使用绝对地址，且只能包含本域名的链接。

三、两者的配合

正确的关系是：robots.txt 管住不该抓的，sitemap 引导该抓的。两者不冲突，但都要准确。配置完成后在站长平台提交验证，确认蜘蛛能正常读取。

四、常见误区

• 用 robots.txt 隐藏不想被收录的页面——它只是不让抓取，不代表搜索引擎里没有旧快照；
• sitemap 里塞满标签页、分页等低价值页面，浪费抓取预算；
• 改版后不更新 sitemap，蜘蛛还按旧地图找路。

标签： robots.txt、 sitemap、 网站地图、 蜘蛛、 SEO配置、

本文地址： /jishuwz/79.html

上一篇：搜索引擎蜘蛛的工作方式抓取索引与排名三阶...
下一篇：网站安全加固的十个基础动作从HTTPS到定期...