WordPress最新Robots.txt规则(基于5.5.1版本)

近期再次选用WordPress建网站时,意识到自之前查询网站robots.txt文件至今,早已过去两年。我觉得它是一件好事,可是伴随着网站构造和內容的全部变更,如今现在是时候再度根据robots开展开心的漫游了。

wordpress

什么叫Robots.txt

最先,漫游器命令严禁聪明的搜索引擎蜘蛛访问您网站的特定一部分。她们还能够显式“容许”访问特殊的文件和文件目录。因而,大部分,她们习惯让百度搜索、Google、Bing等搜索引擎蜘蛛在访问您的网站时了解能够到哪去。您还能够做一些别的的事儿,比如标示特殊的客户代理商和申明站点地图。针对一个简易的文字文件,它具备robots.txt强劲的作用。并且,大家费尽心思一切很有可能的能量来充分发挥较大 的优点。

适用WordPress的更强的robots.txt

运作WordPress,您期待百度搜索引擎对您的贴子和网页页面开展爬网并为其定编数据库索引,而不是您的关键WP文件和文件目录。您还想保证 百度搜索中不包含摘要和引入。申明站点地图也是一种良好的习惯。充分考虑这一点,它是对于WordPress的新的和改善的robots.txt标准:

User-agent: *Disallow: /wp-admin/Disallow: /trackback/Disallow: /xmlrpc.phpDisallow: /feed/Disallow: /blackhole/Allow: /wp-admin/admin-ajax.phpSitemap: https://www.ffblog.cn/sitemap.xml

只需开展小量改动就可以:变更Sitemap来搭配您的站点地图的部位(要是没有能用的站点地图,则删掉这家银行)。

重要提示:从5.5版刚开始,WordPress会全自动为您的网站形成一个站点地图。

使用方法

要将漫游器标准编码加上到WordPress驱动器的网站,只需将编码拷贝/黏贴到文件robots.txt中就可以。随后,将该文件加上到网站网站根目录中,比如:

https://www.ffblog.cn/robots.txt

注解和升级

升级!为了更好地考虑Google的新规定(自始至终容许googlebot彻底爬取一切公共性能用文件的访问管理权限),已从历经认证的真正robots.txt标准中删除了下列命令。

Disallow: /wp-content/Disallow: /wp-includes/

因为/wp-content/和/wp-includes/包含一些可公布访问的CSS和JavaScript文件,因而建议自始至终只容许googlebot彻底访问这两个文件目录。

内容如果侵权,请联系ds@ffblog.cn删除

转载或复制文章时,请注明本文出处及文章链接:https://www.ffblog.cn/348.html

手机上查看
关注微信公众号