Categories


Tags


如何用程序识别Baiduspider ua

近日 ,Baiduspider针对移动抓取user agent(以下简称ua)进行了升级,与PC端的抓取ua做到版本统一,均称为Baiduspider/2.0。从此次更新的移动ua和PC ua来看,不管是移动ua还是PC ua都包含有关键字Baiduspider,我们可以由此判断访客ua是不是来自百度。与PC ua不同的是,移动ua包含有关键字android和mobile,再通过这两个关键字,我们就可以识别出来访的访客ua是移动ua还是pc ua。

通过以上判断逻辑,我们可以很容易判断出来访的ua类型。下面是如何通过主流的php和asp语言来判断来访的ua类型。

php版:

<?php

$ua=$_SERVER['HTTP_USER_AGENT'];

$ua=strtolower($ua);

if($ua!="" &&strpos($ua,"baiduspider")){

if(strpos($ua,"android") || strpos($ua,"mobile")){

echo "是百度移动UA";

}else{

echo "是百度PCUA";

}

}else{

echo"不是baiduspider UA";

}

?>

asp版:

<%

ua=Request.ServerVariables("HTTP_USER_AGENT")

ua=LCase(ua)

if ua<>"" andInStr(ua,"baiduspider")<>0 then

ifInStr(ua,"android")<>0 or InStr(ua,"mobile")<>0then

response.write "是百度移动 UA"

else

response.write"是百度PC UA"

endif

else

response.write "不是baiduspiderUA"

end if

%>

以上demo可以用来简单判断来访ua是否是Baiduspiderua,以及是什么类型的ua,在实际使用过程中,请稍加修改后使用。

如果同学们针对文章中的内容还有疑问的话,欢迎来到【学堂同学汇】讨论专帖进行留言讨论。

来源:百度搜索资源平台 百度搜索学堂


Public @ 2016-12-20 15:38:45

BaiDuSpider百度蜘蛛占用流量,robots.txt设置

BaiDuSpider百度蜘蛛是百度搜索引擎的爬虫程序,负责抓取并建立Web页面的索引。百度蜘蛛会消耗服务器的流量和资源,对于一些限制流量的网站,可能会受到影响。为了控制百度蜘蛛的访问,可以使用robots.txt文件进行设置。 robots.txt文件是一种网站协议,用来告诉搜索引擎蜘蛛访问网站的规则。如果在网站根目录下没有设置robots.txt文件,搜索引擎蜘蛛将按照默认规则进行访问。为了

Public @ 2023-04-17 20:00:34

百度spider介绍

百度spider,也叫"百度蜘蛛",是百度用于抓取网络上的网页内容的爬虫程序。它会自动搜索网络上的网页,抓取页面上的关键词和摘要,并将它们保存在百度的数据库中。百度的蜘蛛不仅可以抓取网页上的文本信息,还可以抓取网页上的图像和多媒体文件,以及网站上的链接。百度蜘蛛可以在短时间内快速地抓取大量信息,因此十分实用。它也可以抓取动态网页内容,对网络内容进行检索更新,从而搜集到最新最准确的检索结果。

Public @ 2023-02-25 17:36:20

我希望我的网站内容被百度索引但不被保存快照,我该怎么做?

Baiduspider遵守互联网meta robots协议。您可以利用网页meta的设置,使百度显示只对该网页建索引,但并不在搜索结果中显示该网页的快照。和robots的更新一样,因为搜索引擎索引数据库的更新需要时间,所以虽然您已经在网页中通过meta禁止了百度在搜索结果中显示该网页的快照,但百度搜索引擎数据库中如果已经建立了网页索引信息,可能需要二至四周才会在线上生效。

Public @ 2016-03-31 15:56:46

更多您感兴趣的搜索

0.467423s