Categories


Tags


Chrome浏览器模拟百度蜘蛛访问

某些网站可能针对搜索引擎挂马(百度/360/搜狗等),Chrome浏览器可以安装User-Agent Switcher for Chrome模拟百度蜘蛛来访问网页,如果是针对搜索引擎挂马的就会显示。

下载蜘蛛模拟软件,模拟蜘蛛访问查看非法信息。

准备工作

已经安装Google Chrome浏览器

安装扩展

访问 User-AgentSwitcher_1_0_43.crx 并下载这个扩展

按照下图打开Chrome浏览器 - 扩展程序

设置百度蜘蛛

安装完成在扩展程序页面可以看到User-Agent Switcher for Chrome点选项

按照如下截图添加百度蜘蛛(蓝色的文字部分)

New User-agent name:baidu

New User-Agent String:Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html;soso;360;sogou)

Group:spider

Append?:Repalce

Indicator Flag:1

测试

安装扩展后Chrome浏览器右上角多出一个小眼睛,点击小眼睛 - spider - baidu,这样就可以模拟百度蜘蛛访问了。

比如访问一个针对搜索引擎挂马的网页:http://www.zttoten.com/index.php?rmlbgh=cbfmcm&westauditpageinfo=1 [这个地址可能会会失效],这样就可以看到被挂马的情况。(默认情况下访问这个地址可能会跳转到网站首页。)

注意事项

如果之前已经用正常模式访问过非法信息网页,再模拟百度蜘蛛的时候可能会失效,清除下浏览器缓存(cookie),然后重新选择百度蜘蛛访问非法信息页面测试。

此方法仅针对搜索引擎挂马有效,其它挂马类型并不适用。

来源:西部数码


Public @ 2019-10-16 16:22:26

apache、iis6、ii7独立ip主机屏蔽拦截蜘蛛抓取(适用vps云主机服务器)

如果是正常的搜索引擎蜘蛛访问,不建议对蜘蛛进行禁止,否则网站在百度等搜索引擎中的收录和排名将会丢失,造成客户流失等损失。可以优先考虑升级虚拟主机型号以获得更多的流量或升级为云服务器(不限流量)。更多详情请访问: http://www.west.cn/faq/list.asp?unid=6261. 使用网站管理助手环境:http://www.west.cn/faq/list.asp?unid=650

Public @ 2018-06-02 16:22:26

apache、iis6、ii7独立ip主机屏蔽拦截蜘蛛抓取(适用vps云主机服务器)

如果是正常的搜索引擎蜘蛛访问,不建议对蜘蛛进行禁止,否则网站在百度等搜索引擎中的收录和排名将会丢失,造成客户流失等损失。可以优先考虑升级虚拟主机型号以获得更多的流量或升级为云服务器(不限流量)。更多详情请访问: http://www.west.cn/faq/list.asp?unid=6261. 使用网站管理助手环境:http://www.west.cn/faq/list.asp?unid=650

Public @ 2018-06-02 16:22:26

如何和搜索引擎爬虫对话

抓取策略:那些网页是我们需要去下载的,那些是无需下载的,那些网页是我们优先下载的,定义清楚之后,能节省很多无谓的爬取。更新策略:监控列表页来发现新的页面;定期check 页面是否过期等等。抽取策略:我们应该如何的从网页中抽取我们想要的内容,不仅仅包含最终的目标内容,还有下一步要抓取的url.抓取频率:我们需要合理的去下载一个网站,却又不失效率。让我对“如何和爬虫对话 ”这个课题有了一些思考,下面归

Public @ 2017-01-01 16:22:28

更多您感兴趣的搜索

0.390928s