用几个最常见的情况，直接举例说明：
1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。
2. 禁止所有SE收录网站的某些目录：
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/
3. 禁止某个SE收录本站，例如禁止百度：
User-agent: Baiduspider
Disallow: /
4. 禁止所有SE收录本站：
User-agent: *
Disallow: /
5. 加入sitemap.xml路径
网站如果出现多个不规范的网址，分散了页面权重，影响搜索引擎爬行和排名。如何设置网站地址URL规范化？1、使用301转向，很多用户习惯搜索带www，把不带www的301转向到带www的页面即可。2、URL网址规范化，链接网址都采用首选域名的绝对地址。3、canonical标签相当于一个页内的301转向，区别在于用户并不被转向，还是停留在原网址上面，而搜索引擎会把他当做是301转向处理，把页面权重集中
从SEO的角度来看，子目录比子域名更有优势。以下是一些原因： 1. 子目录可以利用主域名的域名权威度和链接流量，增加页面的搜索引擎排名。 2. 利用子目录可以为网站维护一个整体一致的品牌形象。 3. 相对于子域名，子目录更容易建立目录级别的结构，这对于网站的整体性和分类有很大的帮助。 4. 子目录可以防止重复内容问题，因为有可能会发生子域名和主域名相同的情况。 总的来说，从SEO角度来看
控制页面的抓取、索引是SEO优化网站结构时经常需要用到的技术。常见的工具包括：robots文件页面的noindex标签链接的nofollow属性页面的301转向页面的canonical标签等这几个工具各有各的特定应用场景，但都是用于控制网站内部结构，之间容易混淆，还经常需要配合使用，SEO们必须准确理解这几个工具的机制和原理，不然很容易出错。这篇贴子讨论robots文件。Robots文件的作用ro
1)、图像目录图像是构成网站的首要组成元素。跟着现在建站越来越便利，许多cms的呈现，真实做到了会打字就会建网站，而正是由于如此便利，网上呈现了许多的同质化模板网站，被重复运用，这样的网站查找引擎是必定不喜爱的，就算是你的网站被录入了，那你的作用也是很差的。若是你非要用这种网站的话，主张你大概在robots.txt文件中进行屏蔽，一般的网站图像目录是：imags 或许 img;2)、网站模板目录如
