wordpress的robots.txt应该怎么写

作者: admin 分类: WordPress 发布时间: 2017-10-27 14:35

自己一直在纠结怎么写robots.txt文件,在网上找了很长时间,但是一直没找到一个系统的具体的写法,于是自己通过综合了几个网站的写法,整理出了一份robots文档,这个文档基本可以说是通用的,没有特殊情况是不用修改的,直接复制黏贴到你的robots.txt里即可。

具体使用方法:

方法一、新建一个txt文档,把以下这段代码复制到txt文档里,重命名为robots.txt,然后用ftp上传到你的网站根目录里,传好后打开 http://www.你的网址.com/robots.txt 测试一下,如果能打开就证明可以了。

方法二、如果你不知道怎么上传,就先安装一个WPJAM插件,里面有一项“SEO设置”,在那里把上面的代码复制进去,然后保存即可(方法二的前提是网站根目录没有robots.txt文件,换句话说就是你要确保你打不开http://www.你的网址.com/robots.txt这个地址)。

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /wp-content/
Disallow: /author/
Disallow: /trackback/
Disallow: /feed/
Disallow: /*/feed
Disallow: /comments/
Disallow: /comments/feed
Disallow: /search/
Disallow: /category/*/page/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /attachment/
Sitemap: http://www.你的网址.com/sitemap.xml

 

备注:最后一项:Sitemap: http://www.你的网址.com/sitemap.xml 这里,请一定确保你的网站已经生成了这个地址才行,这个是给百度爬虫看的,是为了告诉爬虫你的网站上有百度地图,如果没有,请自主移除。

©版权声明:本文为【威武中国】(V5CHINA.COM)原创文章,转载时请注明出处!

>>原文链接地址: http://www.v5china.com/how-should-wordpress-robots-txt-be-written.html

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!

发表评论

电子邮件地址不会被公开。 必填项已用*标注