SEO葵花宝典：控制Google爬虫抓取

对于有些工具了(我会在7.2节的跟踪与调整中详细叙述相关内容)。你可以选择三个等级：快速、中速和慢速(尽管某些时候快速并不可用)。中速是默认的(也是被推荐使用的)抓取速率。慢速将会降低Googlebot在本站服务器上消耗的流量，但是同时Google的抓取也会变得不那么频繁了。

需要注意的是，并不是所有的抓取调整方法都是100%可靠的(尤其是那些工作原理与Googlebot不同的网络蜘蛛)。比如说很多蜘蛛程序不支持写在网页meta标签中的元数据爬虫指令。但是为了兼顾完整性，我会在此说明一下。阻止蜘蛛程序索引该页面的meta标签这样编写：

<metaname=”robots”content=”NOINDEX”>

而不让蜘蛛程序抓取该页面上的链接，则meta标签可以这样写：

<metaname=”robots”content=”NOFOllOW”>

Google对NOINDEX和NOFOIlLOW都是支持的，但是其他搜索引擎通常都不支持。所以SEO葵花宝典建议还是使用robots.txt更好一些。