Categories


Tags


百度搜索robots协议全新升级公告

  百度搜索robots协议全新升级公告

整理自网络ChatGPT产生之内容,文本内容不具备参考意义,程序内容及代码片段有且仅有借鉴意义。

  尊敬的用户:

为了更好地保护网站主的合法权益、提升百度搜索用户搜索体验,百度搜索于2020年10月27日发布了新版robots协议,主要特性包括:

1. 支持抓取控制与数据保护视角的并存

新增规定了两个特殊的抓取指令: allow-if-previously-blocked 和 noindex-if-previously-indexed,用于方便网站主在控制抓取行为的同时,保护网站内容的安全性。

2. 明细化规范

为了更好地支持抓取控制与数据保护视角的并存,新版robots协议增加了大量规定,对协议的细节进行了明细化,以便网站主使用。

3. 融入网站主实际生活

新版robots协议进一步增强了其实用性。协议中包括了比较常用的content-disposition和content-language指令,并对User-agent指令在临时禁止搜索方面的规定进行了补充。

4. 增加特殊对待百度机器人的规定

针对百度搜索所使用的机器人,新版robots协议增加了特殊规定,为百度机器人提供更好的抓取引导,以提高搜索结果的质量。

本次robots协议的升级,将为广大网站主提供更加丰富的抓取控制功能和更好的搜索体验,我们诚恳地邀请各位网站主按照新版规范,完善自身站点的robots协议文件。

祝愿您的网站越来越优秀!

百度搜索运营团队

2020年11月4日

Public @ 2023-06-20 23:50:02 整理自网络ChatGPT产生之内容,文本内容不具备参考意义,程序内容有且仅有借鉴意义。

Sitemap协议类型及包含范围

百度Sitemap协议支持提交收录网页列表以及死链列表。收录网页列表用于指引百度搜索引擎快速、全面的抓取网站上内容。您可以使用XML格式、文本格式以及Sitemap索引文件提交。死链列表用于提交您网站上被删除或者权限发生变动的网页列表,指引百度搜索引擎快速屏蔽这些网页。死链列表目前只能使用文本格式在百度站长平台提交。Sitemap文件的包含范围以主域为单位。如果您验证了 http://www.ex

Public @ 2021-01-23 16:11:58

robots使用误区

1. 不需要在每个页面都添加robots.txt文件:robots.txt文件只是一份给搜索引擎看的指令,如果不希望搜索引擎从该页面抓取数据,那么每一页都是可以不用添加robots.txt文件的。 2. 不能用于移动设备:robots.txt文件可用于搜索引擎爬虫,但也可以在部分机型的移动设备上进行yu处理,可以用于控制移动设备的蜘蛛爬行进行内容抓取。 3. 不应该将robots保存到公用

Public @ 2023-03-03 14:00:19

什么是meta robots 标签?meta robots 标签的写法

网站上有些页面不希望被搜索引擎收录,我们可以使用robots的文件或者meta robots 标签。什么是meta robots 标签?meta robots 标签是页面head部分meta标签的一种,用于指令搜索引擎禁止索引(收录)本页内容。meta robots 标签的写法:<meta name=”robots”content=”noindex,nofollow”>标签的意义:禁止

Public @ 2012-07-08 16:09:26

更多您感兴趣的搜索

0.526805s