尊敬的用户： 为了更好地保护您的隐私和内容权益，百度搜索已经全新升级了robots协议。该协议将更加严格地限制搜索引擎爬取您的网站内容，以保障您的权益。 更新后的robots协议针对以下内容进行了调整： 1.增加禁止搜索引擎爬取的网页类型，如登录页、支付页、个人信息页等。 2.增加网站所有者对搜索引擎爬取的细节设置，包括最大爬取频率、爬取深度、爬取延时等。 3.优化 robots.txt 文件的格式，使其更加易读易懂，方便网站所有者进行设置。 为保障您的权益，请您在更新协议前，仔细阅读协议内容，并根据自身需要进行设置。如果您有任何疑问或建议，欢迎联系百度搜索客户服务，我们将竭诚为您服务。 感谢您一直以来对百度搜索的支持和信任！ 百度搜索团队 2022年5月1日
我们一直在谈论如何给网站做外部优化，比如如何增加外链、到那里推广，但很多站长朋友并不注重网站结构的优化，也就是内部优化，这方面我也很忽略。而这段时间卢松松一直在优化网站结构，也来谈谈如何做好网站结构的优化，本文列举了很多我常见的问题，希望对大家有用。合理的网站结构优化 SEO优化 网站优化 SEO推广 第1张（网站结构优化示意图）1：URL规范化URL规范化是指搜索引擎会挑选最合适的URL作为真正
是的，必须完整的指定Sitemap 中的网址，包括完整的协议（HTTP 或 HTTPS）和主机名（主机名或IP），并以“/”开始。
robots.txt 是一个标准，它通过提供一些规则，告诉搜索引擎爬虫哪些网页可以被爬取，哪些网页不应该被爬取。但是，一些搜索引擎爬虫可能会忽略这些规则，直接抓取它们想要的网页。 此外， robots.txt 文件的存在只是一个建议而不是命令。在一些情况下，搜索引擎爬虫可能会收录被 robots.txt 文件所屏蔽的网页，这有可能是因为发布这个网页的人想要让它被收录，也有可能是因为机器人误解了
可以在Robot协议文件中添加"User-agent:*"以及"Disallow: /images/"，这样Robot就会禁止抓取图片。
