《Robots.txt 协议标准》先容

核心提示：近期有很多站长咨询，怎样正确设置"robots.txt"文件。为了解决广大站长朋友们的疑问，我们对《Robots.txt 协议标准》进行了翻译，希看此篇译文能够帮助大家对"robots.txt"文件有更深的了解。

近期有很多站长咨询，怎样正确设置"robots.txt"文件。为了解决广大站长朋友们的疑问，我们对《Robots.txt 协议标准》进行了翻译，希看此篇译文能够帮助大家对"robots.txt"文件有更深的了解。

Robots.txt 是寄存在站点根目录下的1个纯文本文件。固然它的设置很简单，但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容，或是制止搜索引擎蜘蛛抓取网站的部份或全部内容。

下面我们就来具体先容1下它的使用方法：

Robots.txt 文件应当放在网站根目录下，并且该文件是可以通过互联网进行访问的。

例如：

假设您的网站地址是 http://www.yourdomain.com/

那末，该文件必须能够通过 http://www.yourdomain.com/robots.txt 打开并看到里面的内容。

格式：

User-agent:

用于描写搜索引擎蜘蛛的名字，在" Robots.txt "文件中，假设有多条User-agent记录说明有多个搜索引擎蜘蛛会遭到该协议的限制，对该文件来讲，最少要有1条User-agent记录。假设该项的值设为*，则该协议对任何搜索引擎蜘蛛均有效，在" Robots.txt "文件中，"User-agent:*"这样的记录只能有1条。

Disallow:

用于描写不希看被访问到的1个URL，这个URL可以是1条完全的路径，也能够是部份的，任何以Disallow开头的URL均不会被Robot访问到。

举例：

例1："Disallow:/help"

是指/help.html 和/help/index.html都不答应搜索引擎蜘蛛抓取。

例2："Disallow:/help/"

是指答应搜索引擎蜘蛛抓取/help.html，而不能抓取/help/index.html。

例3：Disallow记录为空

说明该网站的所有页面都答应被搜索引擎抓取，在"/robots.txt"文件中，最少要有1条Disallow记录。

假设"/robots.txt"是1个空文件，则对所有的搜索引擎蜘蛛，该网站都是开放的可以被抓取的。

#:
Robots.txt 协议中的注释符。

举例：

例1：通过"/robots.txt"制止所有搜索引擎蜘蛛抓取"/bin/cgi/"目录，和 "/tmp/"目录和 /foo.html 文件，设置方法以下：

以下为援用的内容： User-agent: * Disallow: /bin/cgi/ Disallow: /tmp/ Disallow: /foo.html

例2：通过"/robots.txt"只答应某个搜索引擎抓取，而制止其他的搜索引擎抓取。

如：只答应名为"slurp"的搜索引擎蜘蛛抓取，而拒尽其他的搜索引擎蜘蛛抓取 "/cgi/" 目录下的内容，设置方法以下：

以下为援用的内容： User-agent: * Disallow: /cgi/ User-agent: slurp Disallow:

例3：制止任何搜索引擎抓取我的网站，设置方法以下：

以下为援用的内容： User-agent: * Disallow: /

例4：只制止某个搜索引擎抓取我的网站

如：只制止名为“slurp”的搜索引擎蜘蛛抓取，设置方法以下：

以下为援用的内容： User-agent: slurp Disallow: /

更多，请参考译文出处：http://www.robotstxt.org/wc/norobots.html

TAG:网站,蜘蛛,搜索引擎,内容,文件

评论加载中... 内容： 评论者： 验证码：