1. 不需要在每个页面都添加robots.txt文件：robots.txt文件只是一份给搜索引擎看的指令，如果不希望搜索引擎从该页面抓取数据，那么每一页都是可以不用添加robots.txt文件的。 2. 不能用于移动设备：robots.txt文件可用于搜索引擎爬虫，但也可以在部分机型的移动设备上进行yu处理，可以用于控制移动设备的蜘蛛爬行进行内容抓取。 3. 不应该将robots保存到公用文件夹：如果存放在公用文件夹，所以网站确实包含多个链接，则所有用到robots.txt文件的页面都将使用同一份robots文件。需要将robots.txt文件放在每个页面的根目录下来避免混淆和混合索引。
我们知道，网站域名通常包括不带www的域名和到带www的域名，很多时候，为了SEO优化的需要，我们要将不带www域名重定向到带www域名，下面就介绍一下具体的实现方法。Apache编辑网站根目录下的。htaccess 文件，在文件里增加如下内容：RewriteEngine onrewriteCond %{http_host} ^williamlong.info [NC]rewriteRule ^(
robots文件往往放置于根目录下，包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL,or NL作为结束符），每一条记录的格式如下所示："<field>:<optional space><value><optionalspace>"在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以
尊敬的用户： 为了更好地保护网站主的合法权益、提升百度搜索用户搜索体验，百度搜索于2020年10月27日发布了新版robots协议，主要特性包括： 1. 支持抓取控制与数据保护视角的并存 新增规定了两个特殊的抓取指令： allow-if-previously-blocked 和 noindex-if-previously-indexed，用于方便网站主在控制抓取行为的同时，保护网站内容的安全
