robots.txt 是一个标准，它通过提供一些规则，告诉搜索引擎爬虫哪些网页可以被爬取，哪些网页不应该被爬取。但是，一些搜索引擎爬虫可能会忽略这些规则，直接抓取它们想要的网页。 此外， robots.txt 文件的存在只是一个建议而不是命令。在一些情况下，搜索引擎爬虫可能会收录被 robots.txt 文件所屏蔽的网页，这有可能是因为发布这个网页的人想要让它被收录，也有可能是因为机器人误解了 robots.txt 文件。 因此，网站所有者仍然需要使用其他策略，如更新网页的元标记和标题标签，以及在页面上指示搜索引擎不索引。
nofollow内部链接不会传递权重给链接指向的页面，因此不会影响内部链接的权重分布。相反，它可以帮助控制页面的链接流量分配，避免流量浪费在不需要的页面上。如果一个页面有大量的被nofollow的链接，这些链接所指向的页面就不会得到与其他链接相同数量的流量。因此，nofollow内部链接可以作为一种有效的优化策略，帮助页面优化链接权重分配和流量分配。
在电脑操作学习和互联网使用中，我们经常会接触绝对地址和相对地址的概念。这里，重点谈互联网上的，具体谈在做网站时，绝对地址和相对地址有什么区别？绝对地址：互联网上的独立地址，在任何网站通过这个地址可以直接到达目标网页。包含主域名和目录地址。相对地址：相对于网站的地址，当域名改变时，相对地址的“绝对地址”也发生变化。假设2个网站A：www.seowhy.com B： www.baidu.c
设置搜索robots协议的后果针对短视频类内容，视频搜索将不再索引、展现网站的视频资源，历史已索引部分会从搜索中屏蔽。若设置部分目录不希望被收录 ，该目录下内容将从搜索中屏蔽，其余内容在搜索中则以正常结果展示。来源：百度搜索资源平台
对于百度搜索引擎来说，蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多，及内容雷同但具体参数不同的动态URL ，就像一个无限循环的“黑洞”将spider困住，Baiduspider浪费了大量资源抓取的却是无效网页。比如很多网站都有筛选功能，通过筛选功能产生的网页经常会被搜索引擎大量抓取，而这其中很大一部分检索价值不高，如“500-1000之间价格的租房”，首先网站（包括现实中）上基本没有相关资源，
