Categories

Tags

什么是robots文件

什么是robots文件

Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。

来源：百度搜索资源平台 百度搜索学堂


 Public @ 2017-09-19 16:02:20

百度搜索资源平台-抓取频次

使用说明1. 抓取频次是搜索引擎在单位时间内（天级）对网站服务器抓取的总次数，如果搜索引擎对站点的抓取频次过高，很有可能造成服务器不稳定，Baiduspider会根据网站内容更新频率和服务器压力等因素自动调整抓取频次2. Baiduspider会根据网站服务器压力自动进行抓取频次调整3. 建议您慎重调节抓取频次上限值，如果抓取频次过小则会影响Baiduspider对网站的收录来源：百度搜索资源平台

 Public @ 2017-12-10 16:06:48

百度搜索资源平台提交sitemap失败的原因？

提交sitemap错误，可能由以下原因导致：1.url无法访问,请确定您的url可正常访问2.url地址不合法，请您检查url是否正确3.url与提交站点不是包含关系，请确定您的url是否属于提交的站点4.url已经添加过，添加过的url请勿重新添加

 Public @ 2011-10-10 16:03:54

玩转robots协议

2013年2月8日北京市第一中级人民法院正式受理了百度诉奇虎360违反“Robots协议”抓取、复制其网站内容的不正当竞争行为一案，索赔金额高达一亿元，这可以看做2012年下半年“3B大战”的继续。在此次索赔案件中，百度称自己的Robots文本中已设定不允许360爬虫进入，而360的爬虫依然对“百度知道”、“百度百科”等百度网站内容进行抓取。其实早在2012年11月初，针对双方摩擦加剧的情况，在中

 Public @ 2019-05-13 16:09:21

更多您感兴趣的搜索

0.582953s