上海网站制作先来说说网站制作都要经过什么人的手,*先是上海网站制作公司的设计师,将网站制作出来后交给前端工程师,再有更后的程序开展制作。然后网站制作完成。接下来说一下自己的主题是书写Robots的注意事项。
那么咋们先解释Robots协议是什么
Robots协议称为蜘蛛爬虫协议、机器人协议等的全称是“网络蜘蛛爬虫排除标准”英文名叫Robots Exclusion Protocol,咋们的网站便是通过这样的协议来告知搜索引擎什么页面或者哪个目录下的文件夹可以抓取什么是不能抓起的,而它的实质是网站与搜索引擎的一种交流方法而不是限制;
Robots书写的注意事项:
1、尽量把动态页面屏蔽掉(由于蜘蛛的抓取一般比较喜欢静态的网页);
2、一部分后台的程序比如js 管理员登陆页面 网站的插件;
3.后台的图片文件夹,蜘蛛是无法抓取的图片的;
4.网站的死链接一定要屏蔽掉;
热点文章
最新文章