360搜索对Robots协议进行了扩展，增加了以下几个指令： 1. User-Agent：用于指定搜索引擎访问网站时使用的用户代理字符串，可以设置多个User-Agent。 2. Crawl-delay：用于指定搜索引擎访问网站时的延迟时间，单位为秒。可以设置针对不同的User-Agent的延迟时间。 3. Sitemap：用于指定网站的sitemap文件的地址，搜索引擎将通过该文件获取站点的所有URL。 4. Host：用于指定网站的主机名，可以避免因为DNS变化导致搜索引擎爬虫无法访问网站。 5. Clean-param：用于指定需要从URL中移除的参数，搜索引擎在访问网站时会忽略URL中包含的这些参数。 6. Noindex-nofollow：用于指定不需要被搜索引擎收录或链接的页面。 这些指令的使用可以让网站管理员更加灵活地控制搜索引擎爬虫的访问行为，以达到更好的SEO效果。
1. 确定网站导航的关键词：根据网站的主题和内容，确定网站导航的关键词，把这些关键词放在导航栏中，以利于搜索引擎的识别。 2. 为导航分类命名：把导航栏中的分类用关键词来命名，并保持简洁清晰，不用过多的词汇，以方便用户和搜索引擎的识别。 3. 利用面包屑导航：在网站中使用面包屑导航，可以增强用户体验，也可以便于搜索引擎了解网站结构，从而提高网站的排名。 4. 避免使用Flash和图片导航：F
Google网站地图(sitemap)是Google提供给网站管理员的一个工具，来提高网站被收录的网页数目。一般来说，搜索引擎蜘蛛会跟着链接爬行到你网站的所有网页。但很多时候，由于种种原因，并不是所有网页都能被收录进搜索引擎数据库。比如说，你的网站是数据库动态生成的，URL中带有参数，一些网页离主页太远，你的网站PR值太低，新的网页可能过很长时间才有机会被抓取等等。Google Sitemap就允
蜘蛛黑洞：蜘蛛黑洞指的是网站通过极低的成本运营，制造出大量和内容相识但参数不同的动态URL ，像一个无限循环的“黑洞”将蜘蛛困住，蜘蛛花费太多的时间在网站，浪费了大量资源抓取的网页为无效网页。如果你的网站存在蜘蛛黑洞现象，尽快的处理好，蜘蛛黑洞不利于网站的收录，也会影响搜索引擎对网站的评分。如何使用Robots避免蜘蛛黑洞？如何利用Robots避免蜘蛛黑洞操作：普通的筛选结果页基本都是使用静态链接
通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。搜外网站后台日志分析结果如下图：image.搜外主站实际上不存在php后缀的URL地址。可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。在robots.txt文件填写屏蔽规则如下：Disallow: /*.asp$Disallow: /*.php$Disallo
