我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？
User-agent: *
Disallow: /index.htm
11-30.
我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查
我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。
当然，如果只是应付备案短暂需求，，就只能这样处理。
后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。
来源：搜外网
近日，百度搜索引擎发现，部分网站用户在搜索访问时有被后退劫持的情况，这对搜索用户有不良影响通过对背景数据的分析，这些问题大多是由站内存在的“被恶意劫持”或“被第三方网站链接劫持”所引起的。域名劫持是什么DNS劫持又叫域名劫持，指的是通过攻击域名解析服务器，或伪造域名解析服务器的方法，把目标网站域名解析到错误的地址从而实现用户无法访问目标网站或者网站打开速度慢。DNS劫持危害非常大。一方面影响用户的
任何事情都有自身的规律，不以人的意志为转移。SEO是一项长期策略，除了一些特例，比如竞争程度比较低的关键词，或大公司网站、引起社会关注的网站，很少能快速看到效果。这是搜索引擎本身原理造成的，与SEO人员自身关系不大。对有一定规模的网站而言尤其如此。我们姑且不论优化整站需要花的时间、精力，从完成优化算起，搜索引擎把一个大中型网站页面重新抓取一遍，往往就需要几个月的时间，再进行索引，重新计算权重分配，
我今天来给大家详细讲解下，先了解几个概念1、robots只是禁止抓取，不是禁止收录2、另外还有nofollow的作用不是不抓取这个链接，是不从这个链接传递权重了解这2个概念后，我们再来讨论怎么处理这类收录问题：robots写正确的同时，不要在任何一家收录的网站发外链，友链，也不要主动提交百度，这样才可以保证不被搜索引擎收录，为什么呢？大家百度查一下淘宝，如图：按照道理淘宝写了robots怎么还是收
Robots META标签中没有大小写之分，name="Robots"表示所有的搜索引擎，可以针对某个具体搜索引擎写为name="BaiduSpider"。 content部分有四个指令选项:index、noindex、follow、nofollow，指令间以","分隔。INDEX 指令告诉搜索机器人抓取该页面;FOLLOW 指令表示搜索
