今天，sem学院为大家整理了robots.txt的各种写法，希望能对你有所帮助。
1、各个搜素引擎的蜘蛛名称
百度蜘蛛： Baiduspider
google机器人：Googlebot
google抓取手机网页蜘蛛：Googlebot-Mobile
google抓取图片蜘蛛：Googlebot-Image
雅虎蜘蛛：Yahoo! Slurp
网易有道蜘蛛：YodaoBot
腾讯SOSO蜘蛛：Sosospider
搜狗蜘蛛：sogou spider
bing蜘蛛：bingbot
msn蜘蛛：msnbot
一淘蜘蛛：EtaoSpider
2、robots.txt禁止抓取的写法
(1)禁止所有搜素引擎抓取所有内容
User-agent: *
Disallow: /
(2)禁止某个搜素引擎抓取所有内容
User-agent: EtaoSpider
Disallow: /
//上面为京东商城禁止一淘抓取的写法，其他搜素引擎都允许;如果是别的搜素引擎，把EtaoSpider修改为相应的蜘蛛名称即可。
(3)禁止搜素引擎抓取某些目录或内容
User-agent: *
Disallow: /css/
Disallow: /user/password.txt
//上面三行为禁止所有搜索引擎抓取/css/目录 ，和 user目录下的password.txt文件
(4)禁止抓取某些特定文件
User-agent: *
Disallow: .jpg$
Disallow: /*.txt
//上面三行为禁止搜素引擎抓取.jpg尾缀的文件和 所有txt文件
//$和*是通配符，$是匹配URL结尾的字符，*是匹配任意一段字符
(5)禁止某些搜索引擎抓取某些内容，相信你知道怎么写了吧!
3、robots.txt允许抓取的写法
(1)允许所有搜素引擎抓取所有内容
User-agent: *
Disallow:
(2)只允许某个搜素引擎抓取所有内容
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /
//上面为只允许百度抓取，其他不允许;如果是别的搜素引擎，把Baiduspider修改为相应的蜘蛛名称即可
(3)只允许搜素引擎抓取某些目录或内容
User-agent: *
Disallow: /user/
allow: /user/space/
//禁止搜索引擎抓取/user目录下的文件，/user下的/space目录除外
希望以上信息能够帮助您,如果您还有关于大连网站制作,大连网站建设,大连网页设计,大连做网站,大连个人做网站及网站相关问题，请与我们联系，大连灵风科技将竭诚为您服务！
--- 大连灵风网络科技 祝您生意兴隆！
