百度各个产品使用不同的user-agent：
无线搜索
Baiduspider-mobile
图片搜索
Baiduspider-image
视频搜索
Baiduspider-video
新闻搜索
Baiduspider-news
百度搜藏
Baiduspider-favo
百度联盟
Baiduspider-cpro
商务搜索
Baiduspider-ads
网页以及其他搜索
Baiduspider
根据以往的SEO工作经验，另搜索引擎头痛的问题，往往是来自过于复杂的网址结构，它让SEO的效果大打折扣，往往事倍功半。当你试图运营一个站点的时候，合理的设计网址结构，看起来十分重要，为此，我们有必要对网址命名规则进行研究。网址命名规则：避免使用复杂网址结构！常见的网址命名规则：1、网址格式统一你是否在IIS下，使用过.woff字体的经历，在使用子目录，嵌套子站点的时候，如果配置不当，往往造成网址出
百度Sitemap协议支持文本格式和xml格式,可以根据自己情况来选择任意一种格式组织sitemap。具体格式说明及示例如下：1.第一种格式样例：txt文本格式在一个txt文本列明需要向百度提交的链接地址，将txt文本文件通过搜索资源平台进行提交http://www.example.com/repaste/101562698_5230191316.htmlhttp://www.example.co
Robots META标签中没有大小写之分，name="Robots"表示所有的搜索引擎，可以针对某个具体搜索引擎写为name="BaiduSpider"。 content部分有四个指令选项:index、noindex、follow、nofollow，指令间以","分隔。INDEX 指令告诉搜索机器人抓取该页面;FOLLOW 指令表示搜索
Robots.txt文件应放在网站的根目录下。
