让百度重新收录的方法

来源: 时间:06-09-11 点击: 点击这里收藏本文

>
>robots.txt是一个纯文本文件，通过在这个文件中声明该网站中不想被robots访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。
>
>当一个搜索机器人访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果找到，搜索机器人就会按照该文件中的内容来确定访问的范围，如果该文件不存在，那么搜索机器人就沿着链接抓取。
>
>robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。
>
>网站 URL
>相应的 robots.txt的 URL
>
>http://www.w3.org/
>http://www.w3.org/robots.txt
>
>http://www.w3.org:80/
>http://www.w3.org:80/robots.txt
>
>http://www.w3.org:1234/
>http://www.w3.org:1234/robots.txt
>
>http://w3.org/
>http://w3.org/robots.txt
>
>2、 robots.txt的语法
>
>"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示：
>
>"＜field＞:＜optionalspace＞＜value＞＜optionalspace＞"。
>
>在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow行,详细情况如下：
>
>User-agent:
>
>该项的值用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则该协议对任何机器人均有效，在"robots.txt"文件中， "User-agent：*"这样的记录只能有一条。
>
>Disallow :
>
>该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow 开头的URL均不会被robot访问到。例如"Disallow: /help"对/help.htm和/help/index.html都不允许搜索引擎访问，而"Disallow: /help/"则允许robot访问/help.html，而不能访问/help/index.html。
>
>任何一条Disallow记录为空，说明该网站的所有部分都允许被访问，在"/robots.txt"文件中，至少要有一条Disallow记录。如果 "/robots.txt"是一个空文件，则对于所有的搜索引擎robot，该网站都是开放的。
>
>下面是一些robots.txt基本的用法：
>
>禁止所有搜索引擎访问网站的任何部分：
>
>User-agent: *
>Disallow: /
>
>允许所有的robot访问
>
>User-agent: *
>Disallow:
>
>或者也可以建一个空文件 "/robots.txt" file
>
>禁止所有搜索引擎访问网站的几个部分（下例中的cgi-bin、tmp、private目录）
>
>User-agent: *
>Disallow: /cgi-bin/
>Disallow: /tmp/
>Disallow: /private/
>
>禁止某个搜索引擎的访问（下例中的BadBot）
>
>User-agent: BadBot
>Disallow: /
>
>只允许某个搜索引擎的访问（下例中的WebCrawler）
>
>User-agent: WebCrawler
>Disallow:
>
>User-agent: *
>Disallow: /
>
>3、常见搜索引擎机器人Robots名字
>
>名称搜索引擎
>
>Baiduspider http://www.baidu.com
>
>Scooter http://www.altavista.com
>
>ia_archiver http://www.alexa.com
>
>Googlebot http://www.google.com
>
>FAST-WebCrawler http://www.alltheweb.com
>
>Slurp http://www.inktomi.com
>
>MSNBOT http://search.msn.com
>
>4、 robots.txt举例
>
>下面是一些著名站点的robots.txt：
>
>http://www.cnn.com/robots.txt
>
>http://www.google.com/robots.txt
>
>http://www.ibm.com/robots.txt
>

9 7 3 1 2 3 4 5 6 7 8 9 10 4 8 :

把此文章收藏到：　　　　　

相关教程

·网站被百度收录减少的原因和解

·百度收录网站页面减少的原因和

·关于百度收录的问题

广而告之

文章搜索

Google JZxue.Com

最新文章

网站推广—网站建设的关键课

吸引访客,做内容有价值的网

关于Photoshop直方图的详细

网站策划,B2B网站策划者应

Web标准网站开发人员配备

便宜/廉价的网站推广方式

写给做BBS的新站长

行为经济学在网站运营中的

漫谈网站改版的必要性

网站策划需要具备的知识

外贸网站建设全攻略

CSS让网页更容易设计与维护

和马云学习如何做网站推广

推荐导读

优秀个人网站打造全过程

热门排行

如何制作网页（网页制作实

如何选择网页制作工具

下载安装Dreamweaver8

制作主页前的准备

垃圾站全教程--之一(新手上

怎样个人网页制作,制作个人

制作模板

在Dreamweaver设置站点

制作首页

网站设计65条原则

规划站点

中国所有银行的BIC code(即

个人主页制作完全手册