问题：z-blog网站robots怎么设置？

回答：这个是问题是笔者看到有朋友在搜外上提问，稳到zblog网站robots文件设置的问题。具体内容如下：

为什么z-blog很多模板商、或者SEO插件商都推荐下面这种robots写法？？ 除了安装文件就这两个文件为什么要全禁止了？

怪的是全部禁止后通过站长工具检测居然是正常的，原理是什么回事，百度蜘蛛也都能正常抓取吗？

User-agent: *

Disallow: /zb_users/

Disallow: /zb_system/

Sitemap:

首先解释下，前面robots代码里写到的，是禁止zb_users和zb_system文件目录下文件被搜索引擎抓取，这样写是没有错的。因为这两个目录下的文件没有被抓取的必要。

那么为什么禁止蜘蛛抓取了，站长工具测试还是正常能抓取呢？原因可能有三个：

1、robots文件没有上传成功；

2、robots文件在搜索引擎那里没有更新；

3、站长工具检测不准。

解释了问题出现的原因手机网站seo，我们再来看看z-blog网站robots怎么设置。本站的主程序就是zblog的，来看看本站的robots文件，如下图：

可以看到对于主站的zblog程序，笔者并没有设置任何的限制抓取，只是对于目录下的bbs论坛做了限制。事实上这没有任何的问题，也就是说对于zblog我们无需纠结哪些目录文件需要禁止抓取，直接开放全部抓取也不会出现影响。

robots文件的作用的确是存在的，对于内容比较多的大站来说，通过robots的设置手机网站seo，可以有效的调节蜘蛛抓取的资源。比如说商城网站会出现很多的帮助文档，这些帮助文档就可以

来源【企业推广】自媒体，更多内容/合作请关注「辉声辉语」公众号，送10G营销资料！