要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
前两天看到一份各大搜索引擎在中国市场份额的资料。Google和百度加起来超过了90%的市场份额，雅虎在中文市场占的非常小。但是无论如何，Yahoo也是一个在世界范围内很重要的搜索引擎。各个搜索引擎的排名算法都不太一样。相比较而言，Google的算法最复杂，最难控制。MSN的算法更注重在页面的优化。比如说关键词堆砌等，往往能在MSN当中取得好的效果。而Yahoo最注重的是导入链接的数量。虽然基于导入
1. 收集数据 开始竞品分析的第一步是收集数据。了解竞争对手的信息，可以通过网站、社交媒体、新闻报道、用户评论等方式获取。注意要将数据整理成易于管理和比较的形式，以便后续分析。 2. 定义竞争对手 在分析之前先要明确自己的竞争对手是谁，可以通过分类和筛选来分别分析各类竞争对手。在与竞争对手比较时，尽量选择同一行业、同一品牌等相似的竞争对手，以便比较和分析。 3. 分析竞争对手的网站内容和设计
robots.txt文件是一个文本文件，用于向搜索引擎和其他机器人网站爬虫指定哪些页面或内容可以被爬取，哪些页面或内容不能被爬取。它的主要作用是为了控制搜索引擎和其他机器人网站爬虫访问和抓取网站内容，保护网站的隐私和安全。如果一个网站不想被某些搜索引擎或爬虫访问、爬取和索引，就可以通过robots.txt文件来禁止它们。另外，robots.txt文件还可以防止一些机器人抓取出现线上攻击或滥用等安全
通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。搜外网站后台日志分析结果如下图：image.搜外主站实际上不存在php后缀的URL地址。可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。在robots.txt文件填写屏蔽规则如下：Disallow: /*.asp$Disallow: /*.php$Disallo
