User-agent: *
Disallow: /cgi-bin 空间默认目录
Disallow: /wp-admin 后台地址
Disallow: /wp-includes 程序默认文件
Disallow: /wp-content/plugins 程序插件
Disallow: /wp-content/cache 程序缓存
Disallow: /wp-content/themes 程序主题模板
Disallow: /trackback 引用路径
Disallow: /feed 信息源路径（避免和内容页重复）
Disallow: /comments 评论路径（避免和内容页重复）
Disallow: /category/*/* 子频道路径（避免与大频道"/*"重复）
Disallow: */trackback 引用路径
Disallow: */feed 信息源路径
Disallow: */comments 评论路径
Disallow: /*?*（动态页面）
Disallow: /*?（动态页面）
Allow: /wp-content/uploads

# Google Image 图片搜索数据抓取
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense adsense数据抓取
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine （放置网站各时期页面被历史浏览工具抓取作为缓存）
User-agent: ia_archiver
Disallow: /

# digg mirror （digg数据抓取）
User-agent: duggmirror
Disallow: /