我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？
User-agent: *
Disallow: /index.htm
11-30.
我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查
我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。
当然，如果只是应付备案短暂需求，，就只能这样处理。
后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。
来源：搜外网
SEO学好后可以做什么，好做吗?我相信有些刚接触这个行业的人都会有着这样的疑问。对于SEO这个行业，不管你是哪一个阶层的人，可能多多少少都知道一些它是干什么用的。而在学习的道路上，可能有的人会觉得很迷茫，找不到前进的方向，遇到问题就选择放弃，这是不明智的。我们不要忘记自己最初的想法，决定走一条路就要一直走下去。因为SEO对每个行业都是有着很大的用处，seo赚钱方法是多种多样的，我们可以根据自己的所
什么是站内站？站内站是指在主域名下采用二级目录建立一个同系统或不同系统的网站。从SEO角度讲，对于网站权重的提升是有意义的。站内站的使用技巧：1、企业网站上发布的内容一般为产品介绍、新闻等，内容比较单一，可以建立站内站丰富内容，比如：行业动态分析、产品专业知识等等。企业站建立站内站建议增加一级目录的博客系统，命名为某某企业博客或产品专业博客。例如：中文：bsstar.net/blog/ dgmai
Robots.txt 是一个网站管理员可通过在站点根目录中放置一个名为robots.txt的文件来让搜索引擎（及其爬虫）知道该如何来收录并处理某些目录或页面，并使索引过程更加有效更加规范。 Robots.txt 的作用是向搜索引擎解释网站中哪些目录和文件希望被搜索引擎收录、哪些不希望收录，以避免搜索引擎抓取到网站误差的内容。如果 robots.txt 被恰当地设置，可以有效提高收录质量和网站
禁止搜索引擎收录的方法什么是robots.txt文件?搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分
