2015整理 搜索引擎蜘蛛参考大全

2015年2月4日13:22:492015整理 搜索引擎蜘蛛参考大全已关闭评论2,781 1428字阅读4分45秒

感兴趣的朋友可以看看这篇2018各大搜索引擎蜘蛛特征表 (baidu蜘蛛,google蜘蛛,360蜘蛛,bing蜘蛛,yahoo蜘蛛)

 

搜索引擎蜘蛛参考大全

文章目录

[显示]

1.百度蜘蛛

Baiduspider(抓取页面蜘蛛)

Baiduspider-image(抓取图片的蜘蛛)

Baiduspider-mobile(抓取wap)

Baiduspider-image(抓取图片)

Baiduspider-video(抓取视频)

Baiduspider-news(抓取新闻)。

*注:以上百度蜘蛛目前常见的是Baiduspider和Baiduspider-image两种。

2.谷歌蜘蛛

谷歌蜘蛛:Googlebot

谷歌蜘蛛:compatible; Googlebot/2.1

Googlebot-Mobile:抓取wap内容

3.360蜘蛛

360蜘蛛:360Spider

4.SOSO蜘蛛

SOSO蜘蛛:Sosospider

5.雅虎蜘蛛

雅虎蜘蛛:“Yahoo! Slurp China”或者Yahoo!

名称中带“Slurp”和空格,名称有空格robots里名称可以使用“Slurp”或者“Yahoo”单词描述,不知道有效无效。

6.有道蜘蛛

有道蜘蛛:YoudaoBot,YodaoBot(两个名字都有,中文拼音少了个U字母读音差别很大嘎,这都会少?)

7.搜狗蜘蛛

搜狗蜘蛛:Sogou News Spider

Sogou web spider

Sogou inst spider

Sogou spider2

Sogou blog

Sogou News Spider

Sogou Orion spider

(参考一些网站的robots文件,搜狗蜘蛛名称可以用Sogou概括,无法验证不知道有没有效)

看看最权威的百度的robots.txt ,http://www.baidu.com/robots.txt 就为Sogou搜狗蜘蛛费了不少字节,占了一大块领地。

“Sogou web spider;Sogou inst spider;Sogou spider2;Sogou blog;Sogou News Spider;Sogou Orion spider”目前6个,名称都带空格。

线上常见"Sogou web spider/4.0" ;"Sogou News Spider/4.0" ;"Sogou inst spider/4.0"

8.MSN蜘蛛

MSN蜘蛛:msnbot,msnbot-media(只见到msnbot-media在狂爬……)

9.必应蜘蛛

必应蜘蛛:bingbot

线上(compatible; bingbot/2.0;)

10.一搜蜘蛛

一搜蜘蛛:YisouSpider

11.Alexa蜘蛛

Alexa蜘蛛:ia_archiver

12.宜sou蜘蛛

宜sou蜘蛛:EasouSpider

13.即刻蜘蛛

即刻蜘蛛:JikeSpider

14.一淘网蜘蛛

一淘网蜘蛛:EtaoSpider

"Mozilla/5.0 (compatible; EtaoSpider/1.0; http://省略/EtaoSpider)"

根据上述蜘蛛中选择几个常用的允许抓取,其余的都可以通过robots屏蔽抓取。如果你暂时空间流量还足够使用,等流量紧张了就保留几个常用的屏蔽掉其它蜘蛛以节省流量。至于那些蜘蛛抓取对网站能带来有利用的价值,网站的管理者眼睛是雪亮的。

另外还发现了如 YandexBot、AhrefsBot和ezooms.bot这些蜘蛛,据说这些蜘蛛国外,对中文网站用处很小。那不如就节省下资源。

 

 

继续阅读
本文章来自站群哥LsevenTT博客~转载请注明出处
Bob1995泛端口站群的做法 SEO相关

Bob1995泛端口站群的做法

BOB1995百度泛端口站群的做法分析,其实此类泛端口站群站点最主要靠的不是程序,最主要bing的是……   Bob1995泛端口站群 如果是十年前,站群程序决定一切; 但是现在市面上的站群拼凑、打乱混淆、al伪原创、网页头部(h...
网站收录的开始,是站点SEO优化旅程的开启 SEO相关

网站收录的开始,是站点SEO优化旅程的开启

因为沙盒期的存在,网站提交收录情况也不会立即显现,而一些seo优化人员对网站收录的期待我们是可以理解的,但每个网站的状况不同,所以搜索引擎所给予的考核周期也不同。SEO根据网站内部...
用PHP根据IP地址判断访问者所在省份,显示不同内容 PHP相关

用PHP根据IP地址判断访问者所在省份,显示不同内容

  在进行网站开发的过程中,有时候我们需要获取访问者的IP地址,根据访问者的IP地址,判断他所在的省份,然后呈现给访问者不同的内容。下面我们介绍一下使用淘宝的IP库来实现对指定省份显示指定内容的方法。 代码如下: <?php...