Baiduspider遵守互联网meta robots协议。您可以利用网页meta的设置，使百度显示只对该网页建索引，但并不在搜索结果中显示该网页的快照。
和robots的更新一样，因为搜索引擎索引数据库的更新需要时间，所以虽然您已经在网页中通过meta禁止了百度在搜索结果中显示该网页的快照，但百度搜索引擎数据库中如果已经建立了网页索引信息，可能需要二至四周才会在线上生效。
站点应该是面向用户的，而不是面向搜索引擎的。一个受到用户欢迎的站点，最终也会受到搜索引擎欢迎；反过来，如果你的站点做了很多针对搜狗的优化，但却给用户带来大量负面体验，那么，你的站点最终肯定会受到搜狗的处罚。搜狗更喜欢有原创内容的网页，而不是简单抄袭和采集互联网上已有内容的网页。对于已经被重复了千百遍的内容，搜狗可能会不予收录。请谨慎使用你的站点链接。与一些垃圾站点做友情链接，很可能会使你的网站受到
通常情况下，这是正常的现象。因为不同搜索引擎的算法，都是不同的。
注：以下BaiDuSpider等于百度蜘蛛、Googlebot等于google蜘蛛、Sogou Spider等于搜狗蜘蛛一、问题因某些原因，搜索引擎蜘蛛抓取网站占用很大流量，如图：网站访问日志也可看见很多蜘蛛爬行记录。如果是正常的搜索引擎蜘蛛访问，不建议对蜘蛛进行禁止，否则网站在百度等搜索引擎中的收录和排名将会丢失，造成客户流失等损失。可以优先考虑升级虚拟主机型号以获得更多的流量或升级为云服务器（
近日 ，Baiduspider针对移动抓取user agent（以下简称ua）进行了升级，与PC端的抓取ua做到版本统一，均称为Baiduspider/2.0。从此次更新的移动ua和PC ua来看，不管是移动ua还是PC ua都包含有关键字Baiduspider，我们可以由此判断访客ua是不是来自百度。与PC ua不同的是，移动ua包含有关键字android和mobile，再通过这两个关键字，我们
