我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？
User-agent: *
Disallow: /index.htm
11-30.
我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查
我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。
当然，如果只是应付备案短暂需求，，就只能这样处理。
后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。
来源：搜外网
当我第一次开始搜索引擎优化就好像是在昨天，但实际上我已经做了整整十年。十年是一个相当长的时期，即使世事变迁，也有了一些我了解到的经过了时间考验的经验，我决定分享给大家，这样你就不会犯同样的错误。1、无法保证这并不是我学到的第一件事，但肯定是SEO中最重要的其中之一。搜索引擎优化就像生活中的其他许多领域，也不能保证 - 永远。不管你做出什么样的奇迹，你都不能保证排名到搜索引擎顶部的位置，特别是随着时
1. 提交网站给百度站长平台，进行百度收录； 2. 购买百度快速收录服务； 3. 注册百度账号，每2天把网站数据更新同步到百度； 4. 把网站的关键词分析好，再做好优化，在关键词上下功夫； 5. 友链是百度收录的重要参考依据，有多高质量的友链，收录效果就会越好； 6. 合理的站内自然链接利于百度的收录； 7. 合理的发布优质的文章，让大家转载链接； 8. 购买有保障的搜索推广服务
我不确定你所指的“robots非标准扩展协议”是什么，因为Robot协议是Web爬虫标准协议之一，旨在告诉Web爬虫哪些页面可以爬取和哪些页面不应该被爬取。它是一个标准协议，而不是扩展协议。 如果您能提供更多信息，我可以尝试提供更详细的回答。
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开(以CR,CR/NL, or NL作为结束符)，每一条记录的格式如下所示:"<field>:<optionalspace><value><optionalspace>"。在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件
