要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
SEO行业已经在我国发展几年了，现在越来越多的人都知道了SEO的存在，可是大多数人只是了解了它的一部分，对SEO并没有一个系统全面的理解，大多数人也只是停留在SEO就是做排名的基础定义上，其实SEO是一个工程，系统优化网站的过程，我们不但要从技术层面上学习它，而且还要从总体上去把握它，要想做好它，特别是有志于以SEO为职业的人来说，应该系统学习一些下边的知识。市场营销说到底，SEO也是众多网络营销
域名是互联网公司以及个人站长最重要的无形资产之一。所有网站内容、流量都与特定域名相联系。一个好的域名对SEO及网站运营都有一定的影响。1.域名后缀seo行业曾经流行这样一种观点：.edu和.gov等不能随便注册的域名天上有更高的权重。.edu只有美国大学等教育机构才能注册，.gov只有政府部门才能注册。注册限制决定了这些域名很少能被用来做垃圾网站，因而搜索引擎给予排名优势。还有人认为.org域名比
为什么我的网站已经加了robots.txt，还能在百度搜索出来？因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。如果您的拒绝被收录需求非常急迫，也可以通过反馈中心反馈请求处理。来源：百度搜索资源平台 百度搜索学堂
以下是禁止搜索引擎收录网站的方法： 1. Robots.txt文件 在网站根目录下建立一个名为“robots.txt”的文件，通过添加禁止搜索引擎收录的指令来控制搜索引擎抓取页面的行为。 2. HTML标签 在网页头部添加的标记，使其被搜索引擎识别为不允许被收录的页面。 3. 登录权限 通过设置网站登录权限，使未登录用户无法访问该网页，从而使搜索引擎无法抓取该页面内容。 4. 封锁I
