咋们要如何防止网站页面被蜘蛛重复的抓取呢?下边上海网站开发给大伙介绍几点。

　 一、通过robots文件来把这样的页面来屏蔽掉，具体做法语法格式：

　　Disallow: /page/ #限制抓取Wordpress分页如查你的网站有必须要也可以把下边的语句一并写上，防止出现过多的重复页面。 * Disallow: /category/*/page/* #限制抓取分类的分页 * Disallow:/tag/ #限制抓取标签页面 * Disallow: */trackback/ #限制抓取Trackback信息 * Disallow:/category/* #限制抓取所有分类列表 什么是蜘蛛，也叫爬虫，其实是一段程序。这样的程序的基本功能是，沿着你的网站的URL一层层的读取一部分信息，做简单处置后，然后返馈给后台服务器开展集中处置。咋们必需清楚蜘蛛的喜好，对上海网站优化才能做到更好。接下来咋们谈谈蜘蛛的工作过程。

　　二、蜘蛛的時间

　　网站的信息经常改变的，不是更新便是改模板。蜘蛛也是一直地更新和抓取网页的信息，蜘蛛的开发者会为爬虫设定一个更新周期，让其依照指定的時间去扫描网站，查看对比出什么页面是必须要开展更新工作的，诸如：主页的标题能否有更改，什么页面是网站新增页面，什么页面是已经过期失效的死链接等等。一个基本功能强太的搜索引擎的更新周期是一直优化的，由于搜索引擎的更新周期对搜索引擎搜索的查全率有非常大决定。不过假如更新周期过长，便会使搜索引擎的搜索精确性和完整性降低，会有一部分新生成的网页搜索不到;若更新周期太过于短，则技术实现难度加大，而且会对带宽、服务器的资源造成浪费，故此网站做好后期的网站维护很重要。

　　三、蜘蛛遇到动态页面

　　蜘蛛在处置动态网页信息是面临的难题。动态网页，是指由程序自动生成的页面。现在互联网发达程序开发脚本语言越来越多，当然开发出来的动态网页类型也越来越多，如jsp、asp、php等等一部分语言。蜘蛛很难处置这些脚本语言生成的网页。优化人员在优化的时候，总是强调尽量不要采用JS代码，蜘蛛要健全处置这些语言，必须要有自个的脚本程序。在开展网站优化，减少一部分不用要的脚本代码，以便蜘蛛爬行抓取，少使得page页面的重复抓取!

　　四、蜘蛛不重复抓取策略

　　网站的网页数量特别大，蜘蛛开展抓取是一个非常大的工程，网页的抓取必须要费特别多线路带宽、硬件资源、時间资源等等。假如经常对同一个网页重复抓取不但会大大的降低了系统的效率，还造成精确度不高等问题。通常的搜索引擎系统都设计了不重复开展上海网页设计抓取的策略，这是为了确保在一定時间段内只对同一个网页开展一次抓取。