Categories


Tags


站点地图注意要点

真实有效

站点地图的主要目的是方便搜索抓取的,如果地图存在死链或坏链,会影响网站在搜索引擎中网站权重的,所以要仔细检查有无错误的链接地址,提交前通过站长工具,检查网站的链接是否有效。

简化

站点地图不要出现重复的链接,要采用标准W3C格式的地图文件,布局要简洁,清晰,如果地图是内容式地图,每页不要超过100内容个链接,采用分页的形式,逐一开来。

更新

建议经常更新站点地图,便于培养搜索爬虫爬行的频率。经常有新的地图内容生成,这样的网站内容能更快的被搜索引擎抓取收录,网站内容也可以早日被搜索引擎检索。

多样性

站点地图不仅仅是给搜索引擎来看的,根本目的也是方便浏览者,所以网站地图最好兼顾搜索引擎的同时也要兼顾浏览者。我们通常为一个网站建三个站点地图。sitemap.html 页面精美,简洁大方,让浏览者方便找到目标页面的同时也心情愉悦。XML 认真研究自己的网站,把重要的页面标注出来,把不需要纳入的页面加上NO FOLLOW 这样更有利于搜索引擎辨别。URLLIST.TXT 或者ROBOTS.TXT 如果方便最好做一下,yahoo等搜索引擎比较认可,谷歌也有这个项目。另外在robots文本里要写好网站地图位置即格式。


Public @ 2016-06-24 16:09:53

玩转robots协议

2013年2月8日北京市第一中级人民法院正式受理了百度诉奇虎360违反“Robots协议”抓取、复制其网站内容的不正当竞争行为一案,索赔金额高达一亿元,这可以看做2012年下半年“3B大战”的继续。在此次索赔案件中,百度称自己的Robots文本中已设定不允许360爬虫进入,而360的爬虫依然对“百度知道”、“百度百科”等百度网站内容进行抓取。其实早在2012年11月初,针对双方摩擦加剧的情况,在中

Public @ 2019-05-13 16:09:21

sitemap的三种格式,TXT、XML及HTML区别是什么?

课程讲的sitemap是url提交, txt文本、HTML 、XML区别是啥啊 我看了好久没看懂。11-22.那我们网站的这个网站地图又是干嘛用的呢?11-23.网站的sitemap,主要目的就是将整站的url都整理到一个文件里面,然后把文件上传至网站根目录下。再到百度资源平台,提交sitemap处,提交这个文件的链接。sitemap可以帮助搜索引擎更好的了解网站的url,促进蜘蛛的爬取和页面收录

Public @ 2016-11-09 16:09:51

ETag使用效果对比&;经验分享

ETag是一种HTTP协议中的实体标签,用于标记某个资源的版本号。它在浏览器与服务器之间起到了缓存控制的作用,提高了网页的加载速度和用户的浏览体验。下面是ETag使用效果对比和经验分享: 1. 提高缓存命中率:当用户再次访问同一资源时,浏览器会向服务器发送请求,服务器会比较资源的ETag值与请求头中的If-None-Match值是否一致。如果一致,则返回状态码304 Not Modified,表

Public @ 2023-07-21 06:50:49

更多您感兴趣的搜索

0.448894s