于互联网上的网站非常多，所以各大搜索引擎公司都要存入海量的数据，已经拥有强大的带宽。为了节约成本搜索引擎根据网站的权重高低提出来两种不同的策略一种被称之为广度优先，另一种被称之为深度优先。这也是对各大站长的一种激励措施。广度优先：一般来说比较多在用在新站上面。蜘蛛根据网站的层次目录结构，爬行，先访问第一层目录的页面，爬行完毕之后在爬行第二层的页面依此类推。但是这样爬行来说很多时候蜘蛛只在第一层目录或者前几层目录爬完就走了。这样被收录的页面和网站本身的页面比例来说不是很大。是以站长要解决这个问题一般来说要从两个方面入手，一个是增加网站权重，争取蜘蛛在广度爬行的时候也进行深度爬行。
另外是，减少目录层次，一般来说现在的开源程序和网站程序的架构也都比较好，我们建立一级栏目和二级栏目就足够。整体的目录层次不要超过三层。这样利于蜘蛛的收录和爬行。如果网站权重不够，而发布的内容又再较深的目录层次，应该让其在首页显示，蜘蛛来的时候可以第一时间爬行。现在各大搜索引擎根据网站的权重大小一般都回采用广度爬行和深度爬行同时进行。深度优先：根据网站的目录层次，蜘蛛到达一个目录继续往这个目录深层爬行，一直爬行到最低，没有连接了。然后根据原来的连接返回，开始爬行第二个目录。是以站长目录设置要简单明了，千万不要让蜘蛛迷路。
