1、网站一级目录的制作： （1）确定网站的主题，明确网站的定位与定位； （2）制定网站的大纲，分别考虑网站的主要的功能模块； （3）定义网站的一级目录，在各功能模块中合理划分下级目录； （4）在每个二级目录中根据功能模块制定三级及以下的多级目录。 2、网站一级目录的作用： （1）清晰明确、增强网站的友好性，为用户提供快捷、清晰的栏目分级； （2）促使网站首页和各个栏目更简洁，使网站在简明中更显精彩；（3）增加网站的可维护性和可拓展性，便于管理和扩大网站功能。
以下是一些可能需要使用robots.txt文件制止抓取的网站目录： 1. 敏感网站：包括医疗机构、政府机构、银行和其他敏感机构的网站。 2. 私人网站：包括个人博客、论坛和社交媒体账号。 3. 用户数据：包括个人信息、照片、视频和其他敏感数据。 4. 搜索引擎排除页面：包括不想在搜索引擎结果中出现的页面。 5. 网站目录：包括一些不需要搜索引擎索引的目录，如网站的管理员和内部页面。 6
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示："<field>:<optionalspace><value><optionalspace>"。在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件
原文地址：子域名和子目录作者：Matt Cutts Google反垃圾网站组的带头人在 PubCon 会议即将闭幕的时候，我注意到很多文章在讨论 Google 对子域名和子目录的处理办法。我想在这里更详细探讨这个话题，以把我的观点表达清楚。从历史上看，子域名和子目录几乎是同一时间开始使用的。顺便提示一下，你可以从这个例子：subdomain.example.com/subdirecto
读者smart问:都说子站包围主站会很有利,想问一下关于子站的问题子站(二级域名)相对于网站的一级目录来说,权威性是不是要大些?搜索引擎是把子站作为独立的一个站来看待?还是也算为一级目录来看待?如果是作为独立的一个站来看待,那主站的内容就少了,那流量会算进主站吗?这是一个很好的问题，要做好搜索引擎优化，就是要在这种细节的地方多下功夫。搜索引擎会把二级域名当作一个独立的站点来看待，也就是说http:
