robots.txt文件的格式为： User-agent: [user-agent-name] Disallow: [URL path] 其中，[user-agent-name]指代搜索引擎爬虫的名称，[URL path]指代禁止访问的URL路径。在文件中可以定义多条User-agent和Disallow规则，每一条规则占一行，每一对规则之间要有一个空行。示例： User-agent: * Disallow: /private/ Disallow: /secret/ User-agent: Baiduspider Disallow: /admin/ User-agent: Googlebot Disallow: /tmp/
读者smart问:都说子站包围主站会很有利,想问一下关于子站的问题子站(二级域名)相对于网站的一级目录来说,权威性是不是要大些?搜索引擎是把子站作为独立的一个站来看待?还是也算为一级目录来看待?如果是作为独立的一个站来看待,那主站的内容就少了,那流量会算进主站吗?这是一个很好的问题，要做好搜索引擎优化，就是要在这种细节的地方多下功夫。搜索引擎会把二级域名当作一个独立的站点来看待，也就是说http:
二级域名如何绑定一级目录1、在 DNS 域名管理后台域名转发里，设置二级域名转发至你的目标一级目录。2、提交后，在主机记录列表会添加一个你刚才提交的二级域名，其指向的IP地址与主域名不同。比如，新网互联指向的是：124.42.122.46。这个是正确的。3、不管你使用的虚拟主机，还是独立服务器。只要主域名可以正常访问即可，不需要在虚拟主机或独立服务器上再设置二级域名。二级域名如何绑定一级目录基础知
我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？User-agent: *Disallow: /index.htm11-30.我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址
robots是什么robots是网站跟蜘蛛间的协议，当访问站点时，它首先检查机器人是否存在于站点的根目录中。如果找到，蜘蛛就会按照该文件中的内容来确定访问的范围,如果该文件不存在,那么搜索机器人就沿着链接抓取。一定要注意txt文件必须放在站点的根目录中，文件名必须为小写。robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分，或者指定搜索引擎只收录指定
