360搜索对Robots协议进行了扩展，增加了以下几个指令： 1. User-Agent：用于指定搜索引擎访问网站时使用的用户代理字符串，可以设置多个User-Agent。 2. Crawl-delay：用于指定搜索引擎访问网站时的延迟时间，单位为秒。可以设置针对不同的User-Agent的延迟时间。 3. Sitemap：用于指定网站的sitemap文件的地址，搜索引擎将通过该文件获取站点的所有URL。 4. Host：用于指定网站的主机名，可以避免因为DNS变化导致搜索引擎爬虫无法访问网站。 5. Clean-param：用于指定需要从URL中移除的参数，搜索引擎在访问网站时会忽略URL中包含的这些参数。 6. Noindex-nofollow：用于指定不需要被搜索引擎收录或链接的页面。 这些指令的使用可以让网站管理员更加灵活地控制搜索引擎爬虫的访问行为，以达到更好的SEO效果。
1. 确定网站导航的关键词：根据网站的主题和内容，确定网站导航的关键词，把这些关键词放在导航栏中，以利于搜索引擎的识别。 2. 为导航分类命名：把导航栏中的分类用关键词来命名，并保持简洁清晰，不用过多的词汇，以方便用户和搜索引擎的识别。 3. 利用面包屑导航：在网站中使用面包屑导航，可以增强用户体验，也可以便于搜索引擎了解网站结构，从而提高网站的排名。 4. 避免使用Flash和图片导航：F
我设置了301跳转，多久可以生效？答：目前百度无法承诺301跳转的生效时间，因为站长感受到的生效时间会受多因素影响，比如Baiduspider再次抓取这个页面发现其设置了301的时间、网页的重要程度以及自身质量等。来源：百度搜索资源平台 百度搜索学堂
robots.txt 是一个标准，它通过提供一些规则，告诉搜索引擎爬虫哪些网页可以被爬取，哪些网页不应该被爬取。但是，一些搜索引擎爬虫可能会忽略这些规则，直接抓取它们想要的网页。 此外， robots.txt 文件的存在只是一个建议而不是命令。在一些情况下，搜索引擎爬虫可能会收录被 robots.txt 文件所屏蔽的网页，这有可能是因为发布这个网页的人想要让它被收录，也有可能是因为机器人误解了
2013年2月8日北京市第一中级人民法院正式受理了百度诉奇虎360违反“Robots协议”抓取、复制其网站内容的不正当竞争行为一案，索赔金额高达一亿元，这可以看做2012年下半年“3B大战”的继续。在此次索赔案件中，百度称自己的Robots文本中已设定不允许360爬虫进入，而360的爬虫依然对“百度知道”、“百度百科”等百度网站内容进行抓取。其实早在2012年11月初，针对双方摩擦加剧的情况，在中
