Categories

Tags

RobotsMETA标签的写法

Robots META标签中没有大小写之分，name="Robots"表示所有的搜索引擎，可以针对某个具体搜索引擎写为name="BaiduSpider"。 content部分有四个指令选项:index、noindex、follow、nofollow，指令间以","分隔。

INDEX 指令告诉搜索机器人抓取该页面;

FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;

Robots Meta标签的缺省值是INDEX和FOLLOW，只有inktomi除外，对于它，缺省值是INDEX,NOFOLLOW。

这样，一共有四种组合:

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">

<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">

<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">

其中

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">可以写成<META NAME="ROBOTS" CONTENT="ALL">;

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">可以写成<META NAME="ROBOTS" CONTENT="NONE">

目前看来，绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于Robots META标签，目前支持的并不多，但是正在逐渐增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE还增加了一个指令"archive"，可以限制GOOGLE是否保留网页快照。例如:

<META NAME="googlebot" CONTENT="index,follow,noarchive">

表示抓取该站点中页面并沿着页面中链接抓取，但是不在GOOLGE上保留该页面的网页快照。

来源：360站长平台


 Public @ 2019-11-07 16:09:03

Apache IIS/.net 制作404页面

Apache为Apache Server设置 404错误页面的方法很简单，只需：(1)在.htaccess文件中加入如下内容：ErrorDocument 404 /notfound.php，将.htaccess文件上传到网站根目录。(2)制作一个404页面，随便您设计，命名为notfound.php，同样上传到网站根目录。注意：（1）.切记不要将404错误转向到网站主页，否则可能会出现主页在搜索引

 Public @ 2021-06-13 16:10:00

网站设置301重定向怎么操作？301设置需要注意的事项

操作步骤： 1. 登录网站管理后台，找到重定向/跳转功能。 2. 选择301重定向。 3. 输入原网址和目标网址，保存设置即可。 注意事项： 1. 确认需要301重定向的页面是否已经删除或更改地址。 2. 对于移动端和PC网页做好不同的重定向设置。 3. 确保301重定向的目标网址是正确的，避免出现死链。 4. 301重定向对于搜索引擎有影响，设置前需对SEO做好分析和评估。

 Public @ 2023-04-14 21:00:16

robots.txt使用教程

robots.txt 是一个文本文件，用于指示搜索引擎爬虫哪些页面可以被抓取，哪些页面不应该被抓取。在建立一个网站时，可以通过 robots.txt 控制搜索引擎爬虫对网站的访问，以达到更好的SEO效果。以下是robots.txt的使用教程。 步骤1：新建 robots.txt 文件 在网站的根目录下，新建一个名为 robots.txt 的文本文件。 步骤2：编辑 robots.txt 文件

 Public @ 2023-04-18 01:00:34

头条搜索Robots匹配说明

头条搜索Robots匹配说明是指在头条搜索过程中，搜索引擎会先根据用户的搜索关键词和搜索历史等信息，匹配出相关内容并展示给用户。而在这个过程中，搜索引擎会使用一种名为Robots的自动化程序来对网站进行定期的抓取和索引，以保持搜索结果的实时性和准确性。Robots程序会自动遵循搜索引擎协议和规则，对网站进行扫描和抓取，同时遵循相关网站的robots.txt文件中的规则来限制抓取行为。因此，网站发布

 Public @ 2023-06-11 03:50:12

更多您感兴趣的搜索

0.434163s