我今天来给大家详细讲解下，先了解几个概念
1、robots只是禁止抓取，不是禁止收录
2、另外还有nofollow的作用不是不抓取这个链接，是不从这个链接传递权重
了解这2个概念后，我们再来讨论怎么处理这类收录问题：
robots写正确的同时，不要在任何一家收录的网站发外链，友链，也不要主动提交百度，这样才可以保证不被搜索引擎收录，为什么呢？
大家百度查一下淘宝，如图：
按照道理淘宝写了robots怎么还是收录，因为有大量的链接指向淘宝官网，而且这些外链可能权重都比较高，
全部都禁止了，依然收录了1亿多条链接
看到这里，是不是有感而发，我们怎么从百度导流到你的淘宝店！（来源：夫唯seo特训营）
301跳转可以让任何来源的网络流量跳转回你的网站，这是一种经济高效且可靠的SEO技术。在SEO方面使用301跳转有非常多的优势，但也引发了一些担忧的问题。 首先，301跳转可以确保所有来自任何网站的流量都会跳转回你的网站，这样你的网站就可以从多个渠道获得流量，并从而提升网站排名。另外，如果你的网站已经有了一些可靠的链接，使用301跳转可以让你的
要替换请求URL中的文字，您可以使用以下方法： 1. 使用字符串的replace()方法：如果您只需要替换URL中的特定字符串，您可以使用replace()方法来完成。例如，假设您要将URL中的"oldtext"替换为"newtext"，您可以这样做：var newURL = oldURL.replace("oldtext", "newtext"); 2. 使用正则表达式：如果您需要更复杂的替
控制页面的抓取、索引是SEO优化网站结构时经常需要用到的技术。常见的工具包括：robots文件页面的noindex标签链接的nofollow属性页面的301转向页面的canonical标签等这几个工具各有各的特定应用场景，但都是用于控制网站内部结构，之间容易混淆，还经常需要配合使用，SEO们必须准确理解这几个工具的机制和原理，不然很容易出错。这篇贴子讨论robots文件。Robots文件的作用ro
