自己一直在纠结怎么写robots.txt文件，在网上找了很长时间，但是一直没找到一个系统的具体的写法，于是自己通过综合了几个网站的写法，整理出了一份robots文档，这个文档基本可以说是通用的，没有特殊情况是不用修改的，直接复制黏贴到你的robots.txt里即可。

具体使用方法：

方法一、新建一个txt文档，把以下这段代码复制到txt文档里，重命名为robots.txt，然后用ftp上传到你的网站根目录里，传好后打开 http://www.你的网址.com/robots.txt 测试一下，如果能打开就证明可以了。

方法二、如果你不知道怎么上传，就先安装一个WPJAM插件，里面有一项“SEO设置”，在那里把上面的代码复制进去，然后保存即可（方法二的前提是网站根目录没有robots.txt文件，换句话说就是你要确保你打不开http://www.你的网址.com/robots.txt这个地址）。

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /wp-content/
Disallow: /author/
Disallow: /trackback/
Disallow: /feed/
Disallow: /*/feed
Disallow: /comments/
Disallow: /comments/feed
Disallow: /search/
Disallow: /category/*/page/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /attachment/
Sitemap: http://www.你的网址.com/sitemap.xml

备注：最后一项：Sitemap: http://www.你的网址.com/sitemap.xml 这里，请一定确保你的网站已经生成了这个地址才行，这个是给百度爬虫看的，是为了告诉爬虫你的网站上有百度地图，如果没有，请自主移除。

❤