百度各个产品使用不同的user-agent:
无线搜索
Baiduspider-mobile
图片搜索
Baiduspider-image
视频搜索
Baiduspider-video
新闻搜索
Baiduspider-news
百度搜藏
Baiduspider-favo
百度联盟
Baiduspider-cpro
商务搜索
Baiduspider-ads
网页以及其他搜索
Baiduspider
来源：360站长平台
本文更新了百度官方提供的301问题汇总，参见文章结尾。这篇文章可看可不看，以前讲301重定向都是回复别人的评论，而没在自己博客上发布过一篇详细关于301重定向的文章，在我印象中，已经有好几位朋友让我发布一篇关于301重定向的文章。索性今天我就详细写一下吧，也许此文对你有用，也许此文对大多数人已经是再常见不过的问题了，你说是吧weiking。301永久重定向对SEO无任何不好的影响，而且网页A的关键
我希望我的网站内容被百度索引但不被保存快照，我该怎么做？Baiduspider遵守互联网meta robots协议。您可以利用网页meta的设置，使百度显示只对该网页建索引，但并不在搜索结果中显示该网页的快照。和robots的更新一样，因为搜索引擎索引数据库的更新需要时间，所以虽然您已经在网页中通过meta禁止了百度在搜索结果中显示该网页的快照，但百度搜索引擎数据库中如果已经建立了网页索引信息，可
robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。
通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。搜外网站后台日志分析结果如下图：image.搜外主站实际上不存在php后缀的URL地址。可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。在robots.txt文件填写屏蔽规则如下：Disallow: /*.asp$Disallow: /*.php$Disallo
