建议将 Sitemap 放在 HTML 服务器的根目录中，即 http://www.example.com/sitemap.xml。
某些情况下，例如您公司网站允许对应不同的目录划分写入权限，这时您或许希望在网站上针对不同的路径创建不同的 Sitemap。
如果您有上传到 “http://www.example.com/路径/sitemap.xml” 的权限，那么您可以针对 “http://www.example.com/路径/” 创建不同的sitemap 。
以下是一些使用robots.txt文件的技巧和最好的做法： 1. 不要放弃robots.txt - 一些网站管理员没有robots.txt文件，因为他们认为这是保护网站的安全措施，但事实上它可能会影响搜索引擎爬取。 2. 维护一个更新的robots.txt文件 - 确保您的robots.txt文件不是过时的。如果您从网站上删除了某些页面或文件夹，请务必更新文件以反映更改。 3. 不要使用ro
网站误封Robots该如何处理robots文件是搜索生态中很重要的一个环节，同时也是一个很细节的环节。在网站运营过程中，很容易忽视robots文件的存在，进行错误覆盖或者全部封禁robots，造成不必要损失！如果误封禁，请及时删除或修改robots文件，并到百度站长平台robots工具中进行检测和更新。来源：百度搜索资源平台
Sitemap（站点地图）是一种文件，站长可通过该文件列出网站上的网页，将网站内容的组织结构告知搜索引擎。神马等搜索引擎网页抓取工具会读取此文件，以便更加智能地抓取网站内容理想状况下，如果您的网站网页间关联得当，神马的网页抓取工具便能够发现其中的大多数网页。即便如此，提交站点地图仍有助于搜索引擎更加有效地抓取网站，尤其是当网站符合以下某个条件时：1.网站为新建网站且指向该网站的外部链接不多。搜索引
ETag是HTTP头的一部分，它是一个字符串标识一个web资源的特定版本。它由web服务器生成，用于标识文件的实体标签。ETag可以用来确定同一资源是否已被修改，这在缓存和验证客户端缓存文件是否过期时很有用。ETag的作用如下： 1.缓存控制：在HTTP响应头部中包含ETag可以帮助浏览器缓存和验证资源。如果资源没有发生任何改变，浏览器可以直接从本地缓存中获取资源，而不需要重新从服务器获取。
