用几个最常见的情况，直接举例说明:
1. 允许所有SE收录本站:robots.txt为空就可以，什么都不要写。
2. 禁止所有SE收录网站的某些目录:
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/
3. 禁止某个SE收录本站，例如禁止百度:
User-agent: Baiduspider
Disallow: /
4. 禁止所有SE收录本站:
User-agent: *
Disallow: /
5. 加入sitemap.xml路径,例如:
来源：360站长平台
Nofollow标签的应用场景有以下几种： 1. 防止链接垃圾邮件：网站管理员不希望搜索引擎将链接视为站点权威的一部分，以避免被链接垃圾邮件所滥用。 2. 不推荐的链接：网站管理员认为某个链接不适合站点的主题或内容，但仍然希望保留该链接。 3. 遵守广告政策：网站所承载的广告链接应该包含Nofollow标签。 4. 提高页面权重：对于站外链接，若链接是通过付费广告，或是首页推荐等方式获得的，可以
可以在Robot协议文件中添加"User-agent:*"以及"Disallow: /images/"，这样Robot就会禁止抓取图片。
robots文件是搜索生态中很重要的一个环节，同时也是一个很细节的环节。很多站长同学在网站运营过程中，很容易忽视robots文件的存在，进行错误覆盖或者全部封禁robots，造成不必要损失！那么如果误操作封禁了robots怎么办？今天我们请到了厦门258网站运营负责人——郑军伟，为我们分享网站robots误封禁后该如何操作？【案例背景】网站开发2.0版本，技术选择了在线开发，为了避免搜索引擎抓取开
网站上有些页面不希望被搜索引擎收录，我们可以使用robots的文件或者meta robots 标签。什么是meta robots 标签？meta robots 标签是页面head部分meta标签的一种，用于指令搜索引擎禁止索引（收录）本页内容。meta robots 标签的写法：<meta name=”robots”content=”noindex,nofollow”>标签的意义：禁止
