Categories


Tags


玩转robots协议

2013年2月8日北京市第一中级人民法院正式受理了百度诉奇虎360违反“Robots协议”抓取、复制其网站内容的不正当竞争行为一案,索赔金额高达一亿元,这可以看做2012年下半年“3B大战”的继续。在此次索赔案件中,百度称自己的Robots文本中已设定不允许360爬虫进入,而360的爬虫依然对“百度知道”、“百度百科”等百度网站内容进行抓取。其实早在2012年11月初,针对双方摩擦加剧的情况,在中

Public @ 2019-05-13 16:09:21

如何避免大量重复URL被百度收录

以下是一些避免大量重复URL被百度收录的方法: 1. 使用canonical标签:在所有重复的URL中添加一个canonical标签,以指定主URL,这样百度就会把所有指向这个URL的链接都算作一个页面。 2. 使用301重定向:把所有重复的URL都指向主URL,这样百度就会把所有重定向过来的网页视为同一网页。 3. robots.txt文件:在robots.txt文件中添加Disallow

Public @ 2023-04-24 03:50:09

更多您感兴趣的搜索

0.567683s