User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
# digg mirror
User-agent: duggmirror
Disallow: /
注释一下robots里的各个元素
User-agent: *
Disallow: /cgi-bin 空间默认目录
Disallow: /wp-admin 后台地址
Disallow: /wp-includes 程序默认文件
Disallow: /wp-content/plugins 程序插件
Disallow: /wp-content/cache 程序缓存
Disallow: /wp-content/themes 程序主题模板
Disallow: /trackback 引用路径
Disallow: /feed 信息源路径（避免和内容页重复）
Disallow: /comments 评论路径（避免和内容页重复）
Disallow: /category/*/* 子频道路径（避免与大频道"/*"重复）
Disallow: */trackback 引用路径
Disallow: */feed 信息源路径
Disallow: */comments 评论路径
Disallow: /*?*（动态页面）
Disallow: /*?（动态页面）
Allow: /wp-content/uploads
# Google Image 图片搜索数据抓取
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense adsense数据抓取
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# Internet Archiver Wayback Machine （放置网站各时期页面被历史浏览工具抓取作为缓存）
User-agent: ia_archiver
Disallow: /
# digg mirror （digg数据抓取）
User-agent: duggmirror
Disallow: /
Sitemap: http://www.xxx.com/sitemap.xml（网站地图单独一行 也可以放置到robots最顶部）
No comments yet
There are no comments yet, be the first!