360搜索对Robots协议进行了扩展，增加了以下几个指令： 1. User-Agent：用于指定搜索引擎访问网站时使用的用户代理字符串，可以设置多个User-Agent。 2. Crawl-delay：用于指定搜索引擎访问网站时的延迟时间，单位为秒。可以设置针对不同的User-Agent的延迟时间。 3. Sitemap：用于指定网站的sitemap文件的地址，搜索引擎将通过该文件获取站点的所有URL。 4. Host：用于指定网站的主机名，可以避免因为DNS变化导致搜索引擎爬虫无法访问网站。 5. Clean-param：用于指定需要从URL中移除的参数，搜索引擎在访问网站时会忽略URL中包含的这些参数。 6. Noindex-nofollow：用于指定不需要被搜索引擎收录或链接的页面。 这些指令的使用可以让网站管理员更加灵活地控制搜索引擎爬虫的访问行为，以达到更好的SEO效果。
移动Sitemap协议是一种网站地图协议，用于帮助搜索引擎更好地理解和索引移动网站的内容。它包含移动网站中所有网页的URL列表、页面的更新频率和相关元数据等信息。 要提交移动Sitemap协议，需要遵循以下步骤： 1. 创建一个XML格式的移动Sitemap文件，包含移动网站中所有网页的URL列表，以及这些页面的描述、更新频率和优先级等信息。 2. 上传Sitemap文件到您的网站根目录下，
URL标准化指的是将URL（Uniform Resource Locator，统一资源定位符）转换为符合标准的格式。这个过程中，可能会将URL中的一些特殊字符进行编码，删除多余的斜杠、点等符号，去掉文件扩展名等。标准化后的URL可提高搜索引擎索引和页面排名的效率，也有助于用户更快捷、准确地访问网站。
robots.txt概念如果我们网站内有某些特殊的文件不让搜索引擎收录，那怎么办？答案是：使用一个叫做robots.txt的文件。robots.txt文件告诉搜索引擎本网站哪些文件是允许搜索引擎蜘蛛抓取，哪些不允许抓取。搜索引擎蜘蛛访问网站任何文件之前，需先访问robots.txt文件，然后抓取robots.txt文件允许的路径，跳过其禁止的路径。总结：robots.txt是一个简单的.txt文件
robots.txt 是一个文本文件，用于指示搜索引擎爬虫哪些页面可以被抓取，哪些页面不应该被抓取。在建立一个网站时，可以通过 robots.txt 控制搜索引擎爬虫对网站的访问，以达到更好的SEO效果。以下是robots.txt的使用教程。 步骤1：新建 robots.txt 文件 在网站的根目录下，新建一个名为 robots.txt 的文本文件。 步骤2：编辑 robots.txt 文件
