百度各个产品使用不同的user-agent:
无线搜索
Baiduspider-mobile
图片搜索
Baiduspider-image
视频搜索
Baiduspider-video
新闻搜索
Baiduspider-news
百度搜藏
Baiduspider-favo
百度联盟
Baiduspider-cpro
商务搜索
Baiduspider-ads
网页以及其他搜索
Baiduspider
来源：360站长平台
网站伪静态和静态的区别静态URL1、加载的时候不需要调用数据库，响应速度快。2、纯静态网页是纯HTML格式的文件，因此不容易遭受黑客攻击，网站的安全性比较高。3、网站的简洁化提高用户体验度。伪静态URL1、后台发布文章的时候，可以实时更新内容。2、方便的实现对化化引擎的优化，并且比生成静态更加方便。3、缩短了URL的长度，隐藏文件实际路径提高了安全性，易于用户记忆和输入。4、占空间比较小。5、UR
搜索引擎判断锚文本是否适合，主要通过如下几点判断：（1）锚文本植入符合文章需求，该出现的时候出现，不该出现的时候不要出现。（2）对所在文章有促进作用，用户阅读的时候可以通过锚文本扩展阅读。（3）能延展用户需求，挖掘用户额外需求并满足。（4）锚文本设置的数量和位置都做到依据文章的延展需求而定。来源：搜外网
我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？User-agent: *Disallow: /index.htm11-30.我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址
亲爱的网站管理员，很高兴的告诉大家，百度站长平台robots工具全新升级，升级后能够实时查看网站在百度中已生效的的robots文件，并支持对robots进行语法及逻辑校验，有助于站长更清晰的管理网站的robots文件，避免错误的封禁搜索引擎。功能亮点：1、实时查看网站在百度中已生效的robots文件内容并可通知百度更新：升级后的robots能够查看网站已生效的robots文件，同时会展现网站最新的
