感兴趣的朋友可以看看这篇2018各大搜索引擎蜘蛛特征表 (baidu蜘蛛,google蜘蛛,360蜘蛛,bing蜘蛛,yahoo蜘蛛)
搜索引擎蜘蛛参考大全
1.百度蜘蛛
Baiduspider（抓取页面蜘蛛）
Baiduspider-image（抓取图片的蜘蛛）
Baiduspider-mobile（抓取wap）
Baiduspider-image（抓取图片）
Baiduspider-video（抓取视频）
Baiduspider-news（抓取新闻）。
*注：以上百度蜘蛛目前常见的是Baiduspider和Baiduspider-image两种。
2.谷歌蜘蛛
谷歌蜘蛛：Googlebot
谷歌蜘蛛：compatible; Googlebot/2.1
Googlebot-Mobile：抓取wap内容
3.360蜘蛛
360蜘蛛：360Spider
4.SOSO蜘蛛
SOSO蜘蛛：Sosospider
5.雅虎蜘蛛
雅虎蜘蛛：“Yahoo! Slurp China”或者Yahoo!
名称中带“Slurp”和空格，名称有空格robots里名称可以使用“Slurp”或者“Yahoo”单词描述，不知道有效无效。
6.有道蜘蛛
有道蜘蛛：YoudaoBot，YodaoBot（两个名字都有，中文拼音少了个U字母读音差别很大嘎，这都会少？）
7.搜狗蜘蛛
搜狗蜘蛛：Sogou News Spider
Sogou web spider
Sogou inst spider
Sogou spider2
Sogou blog
Sogou News Spider
Sogou Orion spider
（参考一些网站的robots文件，搜狗蜘蛛名称可以用Sogou概括，无法验证不知道有没有效）
看看最权威的百度的robots.txt ，http://www.baidu.com/robots.txt 就为Sogou搜狗蜘蛛费了不少字节，占了一大块领地。
“Sogou web spider；Sogou inst spider；Sogou spider2；Sogou blog；Sogou News Spider；Sogou Orion spider”目前6个，名称都带空格。
线上常见"Sogou web spider/4.0" ；"Sogou News Spider/4.0" ；"Sogou inst spider/4.0"
8.MSN蜘蛛
MSN蜘蛛：msnbot，msnbot-media（只见到msnbot-media在狂爬……）
9.必应蜘蛛
必应蜘蛛：bingbot
线上(compatible; bingbot/2.0;)
10.一搜蜘蛛
一搜蜘蛛：YisouSpider
11.Alexa蜘蛛
Alexa蜘蛛：ia_archiver
12.宜sou蜘蛛
宜sou蜘蛛：EasouSpider
13.即刻蜘蛛
即刻蜘蛛：JikeSpider
14.一淘网蜘蛛
一淘网蜘蛛：EtaoSpider
"Mozilla/5.0 (compatible; EtaoSpider/1.0; http://省略/EtaoSpider)"
根据上述蜘蛛中选择几个常用的允许抓取，其余的都可以通过robots屏蔽抓取。如果你暂时空间流量还足够使用，等流量紧张了就保留几个常用的屏蔽掉其它蜘蛛以节省流量。至于那些蜘蛛抓取对网站能带来有利用的价值，网站的管理者眼睛是雪亮的。
另外还发现了如 YandexBot、AhrefsBot和ezooms.bot这些蜘蛛，据说这些蜘蛛国外，对中文网站用处很小。那不如就节省下资源。
