Categories

Tags

RobotsMETA标签的写法

Robots META标签中没有大小写之分，name="Robots"表示所有的搜索引擎，可以针对某个具体搜索引擎写为name="BaiduSpider"。 content部分有四个指令选项:index、noindex、follow、nofollow，指令间以","分隔。

INDEX 指令告诉搜索机器人抓取该页面;

FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;

Robots Meta标签的缺省值是INDEX和FOLLOW，只有inktomi除外，对于它，缺省值是INDEX,NOFOLLOW。

这样，一共有四种组合:

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">

<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">

<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">

其中

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">可以写成<META NAME="ROBOTS" CONTENT="ALL">;

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">可以写成<META NAME="ROBOTS" CONTENT="NONE">

目前看来，绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于Robots META标签，目前支持的并不多，但是正在逐渐增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE还增加了一个指令"archive"，可以限制GOOGLE是否保留网页快照。例如:

<META NAME="googlebot" CONTENT="index,follow,noarchive">

表示抓取该站点中页面并沿着页面中链接抓取，但是不在GOOLGE上保留该页面的网页快照。

来源：360站长平台


 Public @ 2019-11-07 16:09:03

如何设置清晰的网站导航？

1.确定内容：建立一个清晰的网站导航首先要确定网站内容，并按重要程度划分为不同分支，以便给用户提供更明确的浏览导航。 2.合理分类：将网站内容进行合理的分类，为用户提供一个清晰的导航结构，让用户可以更容易找到自己想要的内容。 3.制定详细菜单：根据网站内容设计合理的菜单，每个菜单都应有一个清晰明确的描述，以便用户更易于理解。 4.使用图标或颜色：使用图标或颜色将不同的导航项目区分开来，让

 Public @ 2023-02-25 14:00:25

网站中死链接要怎么解决？

解决网站中死链接的方法可以包括以下几种： 1. 找出死链接：通过使用在线链接检查工具、网站分析工具或者扫描整个网站的程序，找出所有的死链接。这些工具能够列出所有无法访问的链接。 2. 更新或修复链接：对于被标记为死链接的页面，在找到正确的URL后进行更新，或者修复指向正确页面的链接。如果无法找到新的页面，则可以考虑删除该链接。 3. 重定向链接：如果一个死链接指向的是删除的页面，可以通过设置

 Public @ 2023-07-31 14:00:33

什么是robots文件

什么是robots文件Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网

 Public @ 2017-09-19 16:02:20

常见的robots.txt文件用法实例

常见的robots.txt文件用法实例：1、禁止所有搜索引擎抓取网站的任何部分User-agent: *Disallow: /这是禁止所有目录和文件被所有搜索引擎收录。网站还没上线时，有的会先屏蔽所有蜘蛛抓取。2、允许所有的spider抓取（或者也可以建一个空的robots.txt文件）User-agent: *Allow: /这是允许所有搜索引擎抓取网站的任何部分，既然是允许所有文件被抓取，可以

 Public @ 2010-05-21 16:09:23

更多您感兴趣的搜索

0.460601s