笔者前面给大家介绍过搜索引擎工作原理，可能有些朋友并没有去看，或者是看了但是理解不多。鉴于有朋友问到关于搜索引擎如何对网站进行爬行和抓取的问题，这里笔者就再给大家简要的解释下。

首先要知道，搜索引擎是通过叫做蜘蛛的爬虫去爬行和抓取网页，并且将数据返回到数据库。

在搜索引擎的数据库里面，有很多的种子URL，蜘蛛最开始会通过这些种子URL，展开蜘蛛网式的爬行。理论上说，只要网页存在着链接关系，蜘蛛是可以都爬行到的。

那么搜索引擎蜘蛛指怎么爬行和抓取我们的网站呢？我们网站又不是搜索引擎的种子URL。其实这个问题大家不用担心。目前搜索引擎已经有很多种方式去发现新的页面，比如可以通过其他的类似外链的形势发现，比如说我们主动提交，以及通过统计功能去发现等。

目前做网站优化的朋友，基本都是主动型的，大家都会去主动提交URL，也会适当的去做些外链。所以说，网站页面被蜘蛛发现是没有问题的，问题在于页面收录。

前面说到了蜘蛛发现页面链接，那接下来是怎么爬行和抓取呢？分为了以下几个步骤：

1、提取页面内容。这里包括提取页面里面的链接，并进行去重处理，然后把提取的链接返回到待抓取的链接库；另外就是提取页面的主体内容，这个搜索引擎会根据页面类型，有对应的提取策略。

2、分析页面内容。爬行和抓取后seo系统，蜘蛛会对页面主体内容进行初次审核，不符合收录要求的会被丢弃，符合收录的页面会放置到数据库，至于是否及时放出，跟网站权重的高低有关系，这也是搜索引擎的综合判断。

3、再次爬行。蜘蛛把提取的链接返回去之后，可能会继续爬行se

来源【企业推广】自媒体，更多内容/合作请关注「辉声辉语」公众号，送10G营销资料！