WordPress最新Robots.txt规则(基于5.5.1版本)

       时间:2020.09.04 11:09 - 编辑:小师傅

最近重新采用WordPress建站时,意识到自上次查看站点robots.txt文件以来,已经过去了几年。我想这是一件好事,但是随着网站结构和内容的所有更改,现在是时候再次通过robots进行愉快的漫游了。

WordPress最新Robots.txt规则(基于5.5.1版本)

什么是Robots.txt

首先,漫游器指令禁止听话的蜘蛛访问您网站的指定部分。他们还可以显式“允许”访问特定的文件和目录。因此,基本上,他们习惯于让百度、Google、Bing等蜘蛛在访问您的网站时知道可以去哪里。您还可以做一些其他的事情,例如指示特定的用户代理和声明站点地图。对于一个简单的文本文件,它具有robots.txt强大的功能。而且,我们想尽一切可能的力量来发挥最大的优势。

适用于WordPress的更好的robots.txt

运行WordPress,您希望搜索引擎对您的帖子和页面进行爬网并为其编制索引,而不是您的核心WP文件和目录。您还想确保搜索结果中不包含提要和引用。声明站点地图也是一种好习惯。考虑到这一点,这是针对WordPress的新的和改进的robots.txt规则:

User-agent: *
Disallow: /wp-admin/
Disallow: /trackback/
Disallow: /xmlrpc.php
Disallow: /feed/
Disallow: /blackhole/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.ffblog.cn/sitemap.xml

只需进行少量修改即可:更改Sitemap来匹配您的站点地图的位置(如果没有可用的站点地图,则删除该行)。

重要提示:从5.5版开始,WordPress会自动为您的站点生成一个站点地图。

用法

要将漫游器规则代码添加到WordPress驱动的网站,只需将代码复制/粘贴到文件robots.txt中即可。然后,将该文件添加到网站根目录中,例如:

https://www.ffblog.cn/robots.txt

注释和更新

更新!为了满足Google的新要求(始终允许googlebot完全抓取任何公共可用文件的访问权限),已从经过验证的真实robots.txt规则中删除了以下指令。

Disallow: /wp-content/
Disallow: /wp-includes/

由于/wp-content/和/wp-includes/包括一些可公开访问的CSS和JavaScript文件,因此建议您始终只允许googlebot完全访问这两个目录。

81
0

  1. 2020.09.05 - 匿名

    测试一下

     

Xbox Series X 兼容测试:大部分 Xbox One X 游戏可以 4K 60 FPS

第一批送评的XboxSeriesX已经被发出,这表示评测者们终于可以实机测试微软次世代主机的性能了。[…]

《LOL》S9季前赛上单铁男攻略

LOLS8赛季已经结束,接下来就是S9季前赛版本。那么在新的赛季中,上单铁男应该怎么玩?天赋符文怎么加点?粉笔[…]

《王者荣耀》s20亚瑟出装推荐

王者荣耀亚瑟在游戏中是一个很老的英雄,很多玩家都认为这是信念,虽然现在看玩了几次。现在我要和你们分享王者荣耀[…]

《LOL》S10入围赛抽签分组介绍

什么是lolS10资格赛抽签?英雄联盟S10全球总决赛将于9月25日举行。很多球员都想知道lol的排位赛是[…]