我今天来给大家详细讲解下，先了解几个概念
1、robots只是禁止抓取，不是禁止收录
2、另外还有nofollow的作用不是不抓取这个链接，是不从这个链接传递权重
了解这2个概念后，我们再来讨论怎么处理这类收录问题：
robots写正确的同时，不要在任何一家收录的网站发外链，友链，也不要主动提交百度，这样才可以保证不被搜索引擎收录，为什么呢？
大家百度查一下淘宝，如图：
按照道理淘宝写了robots怎么还是收录，因为有大量的链接指向淘宝官网，而且这些外链可能权重都比较高，
全部都禁止了，依然收录了1亿多条链接
看到这里，是不是有感而发，我们怎么从百度导流到你的淘宝店！（来源：夫唯seo特训营）
搜索引擎可以通过爬取网页来检测协议死链，但是这个过程是需要时间和资源的。站长提交可以加快搜索引擎检测协议死链的速度，同时也可以为搜索引擎提供更加准确的信息，因为站长提交的信息可能会包括更多的细节和背景信息，这对搜索引擎来说非常有帮助。此外，站长提交还可以让搜索引擎更加及时地了解到网站的变化，从而更加准确地更新索引。
要在网站的URL中显示品牌名字，可以通过以下几种方法实现： 1. 在网站的域名中包含品牌名：将品牌名字作为域名的一部分，例如www.品牌名.com。这样每个网页的URL都会显示品牌名字。 2. 在网站的子域名中包含品牌名：创建一个子域名并将品牌名字作为子域名，例如brand.域名.com。这样每个网页的URL都会包含子域名和品牌名字。 3. 在网站的URL中使用文件夹和文件名：将品牌名字作为
robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。
Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。9月11日，百度搜索robots全新升级。升级后robots将优化对网站视频URL收录抓取情况。仅当您的网站包含不希望被视频搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。如您
