Baiduspider抓取造成的带宽堵塞？
Baiduspider的正常抓取并不会造成您网站的带宽堵塞，造成此现象可能是由于有人冒充Baiduspider恶意抓取。如果您发现有名为Baiduspider的agent抓取并且造成带宽堵塞，请尽快和我们联系。您可以将信息反馈至反馈中心，如果能够提供您网站该时段的访问日志将更加有利于我们的分析。
如果大家对百度spider还有别的疑问，大家可以到[学堂同学汇][学习讨论] 《 百度spider介绍》讨论帖中发表自己的看法，我们的工作人员会关注这里并与大家进行探讨。
来源：百度搜索资源平台 百度搜索学堂
1. 设置robots.txt文件 在根目录中建立一个robots.txt文件，设置禁止百度抓取即可达到屏蔽百度爬虫的效果，具体设置内容如下： User-agent: Baiduspider Disallow: / 2. 自定义Http请求 百度爬虫最显著的特征就是它的User_Agent中包含Baiduspider，一般在Http头中添加请求头：X-Baidu-Env：martin-
为了达到对目标资源较好的检索效果，Baiduspider需要对您的网站保持一定量的抓取。我们尽量不给网站带来不合理的负担，并会根据服务器承 受能力，网站质量，网站更新等综合因素来进行调整。如果您觉得baiduspider的访问行为有任何不合理的情况，您可以反馈至反馈中心。
亲爱的网站管理员：近日 ，Baiduspider针对移动抓取user agent（以下简称ua）进行了升级，与PC端的抓取ua做到版本统一，均称为Baiduspider/2.0。移动ua和pc ua详情如下：新版移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/
不一定，BaiduSpider 可能没有完整收录网页，也可能完整收录但快照却不完整。例如，某个网页上的脚本可能没有加载完成，这样就可能造成快照显示不完整，又或者，BaiduSpider完整把网页收录了，但是Baidu在生成快照时，出现了问题，导致快照不完整。