当前所在位置:首页 > 网站优化
欢迎您访问灵风网络,我们将提供您最优惠的建站套餐,祝您工作愉快!如有疑问请咨询客服

robots.txt的各种写法整理

发布时间:2012-05-10 来源:www.fo-sky.com 浏览次数: 分享到:
更多

    今天,sem学院为大家整理了robots.txt的各种写法,希望能对你有所帮助。

 
  1、各个搜素引擎的蜘蛛名称
 
  百度蜘蛛: Baiduspider
 
  google机器人:Googlebot
 
  google抓取手机网页蜘蛛:Googlebot-Mobile
 
  google抓取图片蜘蛛:Googlebot-Image
 
  雅虎蜘蛛:Yahoo! Slurp
 
  网易有道蜘蛛:YodaoBot
 
  腾讯SOSO蜘蛛:Sosospider
 
  搜狗蜘蛛:sogou spider
 
  bing蜘蛛:bingbot
 
  msn蜘蛛:msnbot
 
  一淘蜘蛛:EtaoSpider
 
  2、robots.txt禁止抓取的写法
 
  (1)禁止所有搜素引擎抓取所有内容
 
  User-agent: *
 
  Disallow: /
 
  (2)禁止某个搜素引擎抓取所有内容
 
  User-agent: EtaoSpider
 
  Disallow: /
 
  //上面为京东商城禁止一淘抓取的写法,其他搜素引擎都允许;如果是别的搜素引擎,把EtaoSpider修改为相应的蜘蛛名称即可。
 
  (3)禁止搜素引擎抓取某些目录或内容
 
  User-agent: *
 
  Disallow: /css/
 
  Disallow: /user/password.txt
 
  //上面三行为禁止所有搜索引擎抓取/css/目录 ,和 user目录下的password.txt文件
 
  (4)禁止抓取某些特定文件
 
  User-agent: *
 
  Disallow: .jpg$
 
  Disallow: /*.txt
 
  //上面三行为禁止搜素引擎抓取.jpg尾缀的文件和 所有txt文件
 
  //$和*是通配符,$是匹配URL结尾的字符,*是匹配任意一段字符
 
  (5)禁止某些搜索引擎抓取某些内容,相信你知道怎么写了吧!
 
  3、robots.txt允许抓取的写法
 
  (1)允许所有搜素引擎抓取所有内容
 
  User-agent: *
 
  Disallow:
 
  (2)只允许某个搜素引擎抓取所有内容
 
  User-agent: Baiduspider
 
  Disallow:
 
  User-agent: *
 
  Disallow: /
 
  //上面为只允许百度抓取,其他不允许;如果是别的搜素引擎,把Baiduspider修改为相应的蜘蛛名称即可
 
  (3)只允许搜素引擎抓取某些目录或内容
 
  User-agent: *
 
  Disallow: /user/
 
  allow: /user/space/
 
  //禁止搜索引擎抓取/user目录下的文件,/user下的/space目录除外

 


希望以上信息能够帮助您,如果您还有关于大连网站制作,大连网站建设,大连网页设计,大连做网站,大连个人做网站及网站相关问题,请与我们联系,大连灵风科技将竭诚为您服务!

--- 大连灵风网络科技 祝您生意兴隆!