搜索引擎蜘蛛是搜索引擎自身的一个程序，它的作用是对网站的网页进行访问，抓取网页的文字、图片等信息，建立一个数据库，反馈给搜索引擎，当用户搜索的时候，搜索引擎就会把收集到的信息过滤，通过复杂的排序算法将它认为对用户最有用的信息呈现出来。深入分析网站的SEO表现的时候，一般我们就会考虑搜索引擎蜘蛛的抓取质量，而其中能够帮我们优化网站可能会涉及到下面的几个蜘蛛抓取相关的概念：

1.爬取率：既定时间内网站被蜘蛛获取的页面数量。

2.爬取频率：搜索引擎多久对网站或单个网页发起一次新的爬行。

3.爬取深度：一个蜘蛛从开始位置可以点击到多深。

4.爬取饱和度：唯一页面被获取的数量。

5.爬取优先：那些页面最常作为蜘蛛的入口。

6.爬取冗余度：网站一般被多少蜘蛛同时爬取。

7.爬取mapping：蜘蛛爬取路径还原。

搜索引擎蜘蛛的爬取频率很多时候是由网站内容质量决定的，因为只有网站有更新鲜更好的内容，才能更吸引蜘蛛来反复抓取，例如很多大型的内容型网站，每天更新大量的内容，这样就把蜘蛛一直留在了站内，页面抓取的频率自然会提高。而提升了爬取频率，对于页面中内容和链接的更新就会被搜索引擎蜘蛛更快的抓取到，能够更充分的收录网站的页面内容信息。

搜索引擎蜘蛛的爬取深度如果不够深，主要是因为网站在结构布局的时候没有考虑到这蜘蛛是否能够充分抓取或者是否按照一层一层的抓取，这里就涉及到链接入口的布局，也就会考虑到蜘蛛爬取优先的一些入口，很多时候对一些大的网站做诊断，来提升其流量和收录主要的策略布局就是优化蜘蛛抓取优先的入口，实现的方法就是采用nofollow标签屏蔽一些页面。还需要分析的可能是爬取的饱和度，因为对于单个页面的爬取太多是在浪费蜘蛛资源，我们如果能够适当的控制这些资源的分配，那么对于页面的抓取和收录的提升肯定有很大的帮助。