网站做的越大，蜘蛛越多。可是有时候会发现：网站被各种搜索引擎的蜘蛛抓的服务器都快崩溃了，严重的占用了服务器的资源。这个时候要怎么办呢？
百度蜘蛛：Baiduspider
谷歌蜘蛛：Googlebot
360蜘蛛：360Spider
SOSO蜘蛛：Sosospider
神马蜘蛛：YisouSpider
微软必应： BingBot
在国内，我们不要把这几个蜘蛛使用robots.txt屏蔽就可以了，至于其他的，都可以把它们干掉，基本不会为网站带来任何的实际流量！
来源：A5营销
Baiduspider的正常抓取并不会造成您网站的带宽堵塞，造成此现象可能是由于有人冒充Baiduspider恶意抓取。如果您发现有名为Baiduspider的agent抓取并且造成带宽堵塞，请尽快和我们联系。您可以将信息反馈至 投诉平台 ，如果能够提供您网站该时段的访问日志将更加有利于我们的分析。
1. 设置robots.txt文件 在根目录中建立一个robots.txt文件，设置禁止百度抓取即可达到屏蔽百度爬虫的效果，具体设置内容如下： User-agent: Baiduspider Disallow: / 2. 自定义Http请求 百度爬虫最显著的特征就是它的User_Agent中包含Baiduspider，一般在Http头中添加请求头：X-Baidu-Env：martin-
一般用在网站被挂马以后，直接访问没有问题，可以通过模拟百度或其他搜索引擎来访问，即可发现问题。比如下面的例子，直接访问没问题，使用模拟搜索引擎访问即可发现问题。比如访问一个针对搜索引擎挂马的网页：http://www.zttoten.com/index.php?rmlbgh=cbfmcm&westauditpageinfo=1 [这个地址可能会会失效]，这样就可以看到被挂马的情况。（默认情
贺贵江：短期打不开，请使用503错误来提示搜索引擎，时间长了的话，会影响的，因为长期打不开就相当于被屏蔽了。
