用几个最常见的情况，直接举例说明:
1. 允许所有SE收录本站:robots.txt为空就可以，什么都不要写。
2. 禁止所有SE收录网站的某些目录:
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/
3. 禁止某个SE收录本站，例如禁止百度:
User-agent: Baiduspider
Disallow: /
4. 禁止所有SE收录本站:
User-agent: *
Disallow: /
5. 加入sitemap.xml路径,例如:
来源：360站长平台
我们知道，网站域名通常包括不带www的域名和到带www的域名，很多时候，为了SEO优化的需要，我们要将不带www域名重定向到带www域名，下面就介绍一下具体的实现方法。Apache编辑网站根目录下的。htaccess 文件，在文件里增加如下内容：RewriteEngine onrewriteCond %{http_host} ^williamlong.info [NC]rewriteRule ^(
| sitemap是什么？● 网站地图/链接集合，把网站所有的URL放在一个文件内，方便搜索引擎爬取到。| 如何制作sitemap？● 小型网站采用txt格式的sitemap● 大中型网站采用xml格式的sitemap● 工具：老虎sitemap| 制作sitemap注意事项1. 文件格式为TXT或xml，普通企业官网TXT即可，大型网站可使用xml；2. 按时间倒序排列；3. 每周更新，最好每天
| 什么是robots文件？Robots是站点与spider沟通的重要渠道，是网站与搜索引擎爬虫之间的协议，告知哪些可抓取哪些不允许。| 为什么要做robots文件？网站上总有一些页面是禁止蜘蛛抓取的。例如：搜索页面、筛选页面、后台登录地址等。| 如何制作 robots文件？编写robots.txt文件并上传到网站根目录。| 制作 robots.txt注意事项● 所有搜索引擎则用星号表示● All
robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。