Categories


Tags


如何用程序识别Baiduspider ua

近日 ,Baiduspider针对移动抓取user agent(以下简称ua)进行了升级,与PC端的抓取ua做到版本统一,均称为Baiduspider/2.0。从此次更新的移动ua和PC ua来看,不管是移动ua还是PC ua都包含有关键字Baiduspider,我们可以由此判断访客ua是不是来自百度。与PC ua不同的是,移动ua包含有关键字android和mobile,再通过这两个关键字,我们就可以识别出来访的访客ua是移动ua还是pc ua。

通过以上判断逻辑,我们可以很容易判断出来访的ua类型。下面是如何通过主流的php和asp语言来判断来访的ua类型。

php版:

<?php

$ua=$_SERVER['HTTP_USER_AGENT'];

$ua=strtolower($ua);

if($ua!="" &&strpos($ua,"baiduspider")){

if(strpos($ua,"android") || strpos($ua,"mobile")){

echo "是百度移动UA";

}else{

echo "是百度PCUA";

}

}else{

echo"不是baiduspider UA";

}

?>

asp版:

<%

ua=Request.ServerVariables("HTTP_USER_AGENT")

ua=LCase(ua)

if ua<>"" andInStr(ua,"baiduspider")<>0 then

ifInStr(ua,"android")<>0 or InStr(ua,"mobile")<>0then

response.write "是百度移动 UA"

else

response.write"是百度PC UA"

endif

else

response.write "不是baiduspiderUA"

end if

%>

以上demo可以用来简单判断来访ua是否是Baiduspiderua,以及是什么类型的ua,在实际使用过程中,请稍加修改后使用。

如果同学们针对文章中的内容还有疑问的话,欢迎来到【学堂同学汇】讨论专帖进行留言讨论。

来源:百度搜索资源平台 百度搜索学堂


Public @ 2016-12-20 15:38:45

为什么我的网站已经加了robots.txt,还能在搜狗搜索出来

虽然您在网站上加了robots.txt文件,但搜狗搜索引擎仍然可以在搜索结果中显示您的网站。这是因为robots.txt文件只是一个标准化的协议,它主要用于指导搜索引擎爬虫(蜘蛛)如何访问和索引网站的内容。 尽管大多数搜索引擎都会遵循robots.txt文件中的规则,但有些搜索引擎可能会选择忽略它或解释不同的方式。这可能是因为搜狗搜索引擎没有完全遵循robots.txt文件的指示,或者由于其他原

Public @ 2023-07-31 04:00:31

Google爬行缓存代理(crawl caching proxy)

前两天人们注意到Google Adsense蜘蛛所抓取的网页会出现在搜索结果中。Matt Cutts在他的博客里迅速的做出了回应,对这种现象做了进一步解释。简单来说,Google在完成大爸爸数据中心升级后,各种蜘蛛抓取网页的机制产生了变化。不是各个蜘蛛直接抓取网页,而是由一个爬行缓存代理crawl caching proxy抓取网页,然后不同的蜘蛛从这个缓存中获取内容,从而节省了带宽。Matt C

Public @ 2019-08-28 16:22:27

如何获知BaiduSpider在网站爬行的规律

BaiduSpider是百度搜索引擎的网络爬虫,其爬行规律与其他爬虫类似,通常有以下几点: 1. BaiduSpider会按照网站的robots.txt文件中的规则来进行爬行,如果该文件中禁止爬取某些页面或目录,BaiduSpider会遵循规则进行爬行。 2. BaiduSpider的爬行频率通常是不固定的,它会根据网站的内容更新频率、网站的重要性等因素进行调整。 3. BaiduSpide

Public @ 2023-04-14 13:50:31

更多您感兴趣的搜索

0.418044s