网站必须要有爬虫进来，放进这样的虫子，会使得自个网站有排名。上海网站维护小编相对爬虫类型分别做了剖析，具体如下

上海网站维护小编将网站爬虫分为了三种不同的类型

批量型爬虫（BatchCrawler)：批量型爬虫有比较明确的抓取范围和目标，当爬虫到达这样的设定的目标后，即停止抓取过程。至于具体目标可能各异，也许是设定抓取一定数量的网页就可以，也许是设走抓取消耗的時间等，不一而足。

增量型爬虫（IncrementalCrawler)：增量型爬虫与批量型爬虫不同，会保持持续一直的抓取，相对抓取到的网页，要定期更新，由于互联网网页处于一直改变屮，新增网页、网页被删除或者网页信息更改都很常见，而增量型爬虫必须要及时反映这种改变,故此处于持续一直的抓取过程中，不是在抓取新网页，便是在更新已有网页。通用的商业搜索引擎爬虫基本都属于此类。

垂直型爬虫（FocusedCrawler)：垂直型爬虫关注特定主题信息或者属于特定行业的网页，比如相对网站开发网站来说，只必须要从互联网页面里找到与网站开发相应的页面信息就可以，其他行业的信息不在考虑范围。垂直型爬虫一个大的特点和难点便是：如何识别网页信息能否属于指定行业或者主题：从节省系统资源的角度来说，不太可能把所有互联网页面下载下来之后再去筛选，这样子浪费资源就太过分了，往往必须要爬虫在抓取阶段就可以动态识别某个网址能否与主题相应，并尽量不去抓取无关页面，以到达节省资源的目的。