我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？
User-agent: *
Disallow: /index.htm
11-30.
我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查
我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。
当然，如果只是应付备案短暂需求，，就只能这样处理。
后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。
来源：搜外网
一、 背景：网站名称：浪起激光网站表现：企业站 ， 权重3 ， 收录1000+ ，域名时间 9年。程序：zblog页面：伪静态处理：域名/分类/id.html单页面：伪静态处理：域名/pinyin.htmlTAG：这个是重点，相信站长都会使用这种聚合标签;域名/pinyin.html更新：日常更新，偶尔原创，大部分伪原创(不是伪原创软件生产)内链：主关键词链接到首页，长尾词多链接到tag二、 过程
几天前帮助一个朋友解决文章的SEO优化问题，在调整网站之前，site网址首页不在第一。网站调整后，(大致一个星期)site网址首页已经恢复第一。闲话不多说，如何解决site网址首页不在第一的问题呢?接下来由SEO李密田详细解答：第一步：对网站结构做一下梳理网站分为：首页、产品、案例、新闻、攻略、公司介绍第二步：分析该网站存在的问题最开始SEO李密田认为：由于网站首页关键词堆砌造成site网址首页不
User-agent: [robot名稱] Disallow: [禁止存取的目錄或檔案] Allow: [允許存取的目錄或檔案] Sitemap: [網站地圖檔案位置] 注意事項： - User-agent：要設定的是區分搜索引擎的機器人，可設定多個。若不加此欄位，則視為通用設定。 - Disallow：機器人不可存取的目錄或檔案，在此設定時，要注意目錄名稱或檔案名稱是完整的，不
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示："<field>:<optionalspace><value><optionalspace>"。在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件
