obots.txt 文件必须放在网站的根目录。
放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。
如：
https://www.seowhy.com/robots.txt 是有效的。
https://www.seowhy.com/a/robots.txt 是无效的。
以下3种情况需要注意：
1、如果手机网站采用的是m.的二级域名，要给手机网站设置robots.txt的话，robots.txt要放在m. 这个二级域名的根目录下，而不是www的根目录。
2、给网站添加了一个站内站，如果要屏蔽某链接，是在www根目录下的robots里屏蔽，而不是给站内站创建独立的robtos.txt文件。
3、网站有多个二级域名的话，应该每个二级域名设置一个robots.txt。搜外问答的例子，点击查看。
来源：搜外网
SEO优化方法之一是在主站建立一个一级目录，从而提升主站的排名。什么是网站一级目录？继承在主站目录下的，相当于在网站的根目录下再建立一个文件夹存放网站。网站一级目录如何制作？www.seowhy.com/bbs和www.seowhy.com/blog/这两个就属于一级目录。1、在FTP后台【新建一个新的文件夹】-【文件夹命名为bbs或者blog】。2、上传一个“一级目录的首页”到bbs或者blog
操作步骤： 1. 确定需要重定向的URL，例如http://www.oldwebsite.com/oldpage.html。 2. 在网站的控制面板中找到网站设置或更改网站选项。 3. 在重定向设置选项中选择301重定向。 4. 输入旧URL，例如http://www.oldwebsite.com/oldpage.html，并指定新URL，例如http://www.newwebsite.c
robots.txt文件的格式为： User-agent: [user-agent-name] Disallow: [URL path] 其中，[user-agent-name]指代搜索引擎爬虫的名称，[URL path]指代禁止访问的URL路径。在文件中可以定义多条User-agent和Disallow规则，每一条规则占一行，每一对规则之间要有一个空行。示例： User-agent: *
