Robots.txt 文件在网站中的作用及好处

Robots.txt文件只是一个纯文本文件，在网站优化中起到相当大的作用，当蜘蛛搜索站点时，首先检查的是该网站的根目录下是否存在Robots.txt文件，它会按照该文件的内容来确定访问范围。Robots.txt文件就像网站地图一样，是给搜索引擎蜘蛛指明道路的，对网站的页面收录起到桥梁的作用。广州网站建设-南方网景分析了几个Robots.txt文件存在于网站中的几点好处，和大家分享下：

1、可以制止搜索引擎索引页面

在robots.txt文件进行设置可以对网站某些不公开的页面进行制止蜘蛛爬行，如网站后台程序、管理程序这些比较重要的文件，不想让别人看到，就可以通过Robots.txt进行设置，还有一些 在运行中产生临时页面的，也可以进行设置。

2、方便搜索引擎蜘蛛爬行

对于网站内容丰富的网站，页面也很多，打开页面可能会比较慢，如果太多的蜘蛛爬行，就会给蜘蛛感觉很费力，甚至会影响网站的正常访问。设置Robots.txt文件就显得更为重要了，把Robots.txt文件配置好了，就给搜索引擎蜘蛛爬行带来了很大的方便。

3、节省服务器宽带

如果网站是以图片为主的话，没有设置好Robots.txt文件，就会浪费大量的服务器宽带。

4、对网站地图链接的重要性

各大搜索引擎都发布了对网站地图的新的支持方式，就是在robots.txt文件里直接包括sitemap文件的链接。如果把网站地图链接放在robots.txt文件里，那么就不用怎么样到各个搜索引擎的站长工具去提交sitemap文件了。