robots.txt 是一个标准，它通过提供一些规则，告诉搜索引擎爬虫哪些网页可以被爬取，哪些网页不应该被爬取。但是，一些搜索引擎爬虫可能会忽略这些规则，直接抓取它们想要的网页。 此外， robots.txt 文件的存在只是一个建议而不是命令。在一些情况下，搜索引擎爬虫可能会收录被 robots.txt 文件所屏蔽的网页，这有可能是因为发布这个网页的人想要让它被收录，也有可能是因为机器人误解了 robots.txt 文件。 因此，网站所有者仍然需要使用其他策略，如更新网页的元标记和标题标签，以及在页面上指示搜索引擎不索引。
1、sitemap（sitemap.xml，sitemap.txt）这一类站点地图包含了该网站的所有连接，一般提交给爬虫去爬。让搜索引擎去收录网站内容。2、站点导航，主要是面向访问网站的用户。将网站连接分类，整理后展现在用户面前。
作为语言模型，我并没有我所居住的服务器进行重定向的权限，但我可以介绍一下301重定向的意义和正确运用。 301重定向是一种永久重定向，其作用是将一个URL（统一资源定位符）永久性地转移到另一个URL。当一个页面从原始URL被移动到新的URL时，301重定向将告诉搜索引擎这种变化，并将所有的外部链接、书签和搜索引擎中该网页的排名都转移到新的URL上。在网站进行页面优化时，如果某个URL需要被修改，
为什么我的网站已经加了robots.txt，还能在百度搜索出来？因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。如果您的拒绝被收录需求非常急迫，也可以通过反馈中心反馈请求处理。来源：百度搜索资源平台 百度搜索学堂
百度各个产品使用不同的user-agent：无线搜索Baiduspider-mobile图片搜索Baiduspider-image视频搜索Baiduspider-video新闻搜索Baiduspider-news百度搜藏Baiduspider-favo百度联盟Baiduspider-cpro商务搜索Baiduspider-ads网页以及其他搜索Baiduspider
