*先咋们来讲看，清楚什么是一个robots.txt？

我的理解是robots.txt通过代码控制搜索引擎蜘蛛索引的一种手段，以减轻Web服务器的带宽利用率，使空间的网站是更稳定，而且还能够提高效率，提高网站的其他页面的网站索引。

现在咋们来熟悉如何使用robots.txt？

*先，咋们必须要创建一个robots.txt的文本文件，然后将文件中的代码，告知搜索引擎你不能浏览的文件。然后把它上传到网站的根目录下的robots.txt文件后，当搜索引擎蜘蛛索引的一个网站，*先爬行查看网站的根目录。

# robots.txt file start   文件开始

# Robots.txt file from http://www.jianzhan0.com

# All robots will spider the domain

User-agent: *

Disallow: /security/ 不允许浏览

Disallow: /admin/不允许浏览

Disallow: /admin.htm不允许浏览

# End robots.txt file  文件结束

robots.txt文件中的规范编写代码，咋们还需要注意的User-agent：必须存在，而且给所有的搜索引擎蜘蛛说不允许浏览哪个文件夹。