Posted on

【WordPress robots.txt的正确写法】

  • Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
    搜索引擎机器人访问网站时，首先会寻找站点根目录有没有 robots.txt文件，如果有这个文件就根据文件的内容确定收录范围，如果没有就按默认访问以及收录所有页面。另外，当搜索蜘蛛发现不存在robots.txt文件时，会产生一个404错误日志在服务器上，从而增加服务器的负担，因此为站点添加一个robots.txt文件还是很重要的。

  • 编写robots.txt必须要谨慎，否则一不小心输入错误，就会导致整个网站收录情况受到影响，得不偿失！ 所以特别写来此文来论述一下robots.txt的正确写法

    robots.txt的基本语法

    要编写就要先了解，robots.txt也是有自己的规则的。

  • 文件头部规则：

  • robots.txt文件的开头为User-agent:开头，用来指定搜索引擎蜘蛛，如果要针对百度搜索蜘蛛，可以输入

    User-agent:Baiduspider

    如果要对全体搜索引擎起作用，则输入

    User-agent: *

  • Disallow规则：

    Disallow: /abc 表示禁止访问收录abc.php、abc.html和abc文件夹下的所有文件。

    Disallow: /abc/ 表示仅禁止访问abc文件夹下的所有文件，但是不限制abc.php、abc.html文件。

  • Allow规则：

    Allow规则同Disallow。

    *和$的使用规则：

    *表示通配符

    Disallow: /cgi-bin/*.htm

    表示禁止收录cgi-bin文件夹下的所有htm后缀的文件。

    Disallow: /*?replytocom=

    表示禁止收录含有“replytocom=”字符的地址。

    $用于通指禁止访问某后缀的文件

    Disallow: /*.css$

    表示禁止收录以css后缀的文件。

  • Sitemap规则：

    Sitemap用来告诉搜索引擎网站地图的位置

    Sitemap: http://qxx.hk/sitemap.xml

    针对WordPress网站的robots.txt的编写

    WordPress站点默认在浏览器中输入：http://你的域名/robots.txt，会显示如下内容：

    User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-includes/

    这是由WordPress自动生成的，意思是告诉搜索引擎不要抓取后台程序文件。

    但这是远远不够的，比较完整的WordPress站点robots.txt文件内容如下：

    User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-content/
    Disallow: /wp-includes/
    Disallow: //comment-page-
    Disallow: /?replytocom=
    Disallow: /category//page/
    Disallow: /tag/    /page/
    Disallow: //trackback
    Disallow: /feed
    Disallow: /    /feed
    Disallow: /comments/feed
    Disallow: /?s=*
    Disallow: //?s=\
    Disallow: /attachment/

    使用方法：新建一个名称为robots.txt文本文件，将上面的内容放进去，然后上传到网站根目录即可。

    下面分别解释一下各项的作用：

    1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/
    用于告诉搜索引擎不要抓取后台程序文件页面。

    2、Disallow: //comment-page-和Disallow: /?replytocom=
    禁止搜索引擎抓取评论分页等相关链接。

    3、Disallow: /category//page/和Disallow: /tag//page/
    禁止搜索引擎抓取收录分类和标签的分页。

    4、Disallow: /*/trackback
    禁止搜索引擎抓取收录trackback等垃圾信息

    5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed
    禁止搜索引擎抓取收录feed链接，feed只用于订阅本站，与搜索引擎无关。

    6、Disallow: /?s=和Disallow: //?s=*\
    禁止搜索引擎抓取站内搜索结果

    7、Disallow: /attachment/
    禁止搜索引擎抓取附件页面，比如毫无意义的图片附件页面。
    上面只是些基本的写法，当然还有很多，不过够用了。