站点地图分类
1、sitemap(sitemap.xml,sitemap.txt)这一类站点地图包含了该网站的所有连接,一般提交给爬虫去爬。让搜索引擎去收录网站内容。
2、站点导航,主要是面向访问网站的用户。将网站连接分类,整理后展现在用户面前。
Public @ 2013-10-14 16:11:50
Google网站地图Sitemap是一个XML文件,列出了Web站点中的所有页面和链接。这样,搜索引擎可以通过此文件更快地找到和索引您网站上的所有内容。 与搜索引擎优化(SEO)有关的是,Sitemap帮助您确保您网站上的所有内容都可以被搜索引擎找到和索引。搜索引擎很可能会错过一些页面或链接,导致这些内容无法出现在用户的搜索结果中。有了Sitemap,您可以告诉搜索引擎哪些页面需要索引,哪些页面
Robots.txt文件应放在网站的根目录下。
ETag 是一种用于标识网络资源的字符串。ETag 是由服务器为每个资源生成的,并且在资源内容发生变化时会改变。 ETag 主要用于缓存控制和条件请求。以下是 ETag 的一些作用: 1. 缓存验证:当客户端请求资源时,可以在请求头中通过 If-None-Match 字段将上一次请求中得到的 ETag 值发送给服务器。服务器可以根据这个值来判断资源是否发生了变化。如果 ETag 值匹配,服务器