我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？
User-agent: *
Disallow: /index.htm
11-30.
我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查
我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。
当然，如果只是应付备案短暂需求，，就只能这样处理。
后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。
来源：搜外网
过去20来年，SEO基本原理和技术没有太大变化。可以称得上明显变化的，其实只是2018年到2021年这段时间，SEO行业确实有新趋势，因为比较明显：移动搜索SEO人工智能影响SEO语音搜索的SEO移动优化和人工智能以前谈的很多了，今天聊一下语音搜索对SEO的影响。语音搜索的独特性首先要明确两点。语音搜索SEO一是语音搜索基本上是以移动搜索为基础的。PC搜索，无论百度还是Google，在搜索框中都是
网站一直不收录指的是在搜索引擎上输入site：+域名，搜索结果显示如图，则代表该网站没有被收录，就是SEO常说的网站被k了。QQ截图20181123111056.jpg网站一直不收录怎么办？根据之前有分享过的文章(如何让网站快速收录？网站提高收录的10种方法)使用这10种方法网站超过1个月还是没有收录的情况下，建议就可以考虑换域名了。相信有些站长还会遇到首页有收录，但是网站内容没有收录的情况。网站
robots是什么robots是网站跟蜘蛛间的协议，当访问站点时，它首先检查机器人是否存在于站点的根目录中。如果找到，蜘蛛就会按照该文件中的内容来确定访问的范围,如果该文件不存在,那么搜索机器人就沿着链接抓取。一定要注意txt文件必须放在站点的根目录中，文件名必须为小写。robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分，或者指定搜索引擎只收录指定
robots.txt文件通常放在网站的根目录下，即与主页文件（如index.html）同一级目录下。例如，如果网站的域名是www.example.com，那么robots.txt文件的完整路径可能是www.example.com/robots.txt。