robots.txt的编写规则简介

发布时间：2019/10/30 丨 浏览次数：

robots.txt是一个纯文本文件，当网络蜘蛛来抓取网站的时候，首先就是访问这个网站的robot.txt文件。所以网站管理者都会在robots.txt文件中声明该网站中不想被robots访问的部分，或者只允许指定的搜索引擎收录指定的内容。很明显robot.txt对我们做seo来说是很重要的。

下面来看看应该怎么写robot.txt？

1、user-agent和Disallow是robot里面的俩个重要的函数。

2、robot.txt的编写及范本：

例如：

允许所有的robot访问

User-agent:*

Disallow:

或者也可以建一个空文件“/robots.txt”file

禁止所有搜索引擎访问网站的任何部分

User-agent:*

Disallow:/

禁止所有搜索引擎访问网站的几个部分（下例中的01、02、03目录）

User-agent:*

Disallow:/01/

Disallow:/02/

Disallow:/03/

禁止某个搜索引擎的访问（下例中的BadBot）

User-agent:BadBot

Disallow:/

只允许某个搜索引擎的访问（下例中的Crawler）

User-agent:Crawler

Disallow:

User-agent:*

Disallow:/

3、各大搜索引擎的蜘蛛名称

百度蜘蛛：baiduspider

google蜘蛛：googlebot

yahoo蜘蛛：slurp

alexa蜘蛛：ia_archiver

msn蜘蛛：msnbot

xaltavista蜘蛛：lycos_spider_(t-rex)

lycos蜘蛛：lycos_spider_(t-rex)

alltheweb蜘蛛：fast-webcrawler/

inktomi蜘蛛：slurp

4、<metaname="robots"contect="all|none|index|noindex|follow|nofollow">

其中的属性说明如下：

设定为all：文件将被检索，且页面上的链接可以被查询；

设定为none：文件将不被检索，且页面上的链接不可以被查询；

设定为index：文件将被检索；

设定为follow：页面上的链接可以被查询；

设定为noindex：文件将不被检索，但页面上的链接可以被查询；

设定为nofollow：文件将不被检索，页面上的链接可以被查询