8月份百度Spider升级了对HTTPS数据的抓取力度，HTTPS数据将更快被Spider抓取到。如网站还在做HTTPS的改造，且网站数据未搭建好，建议网站采取以下措施，避免Spider抓取，以免造成网站流量损失
1、把HTTPS的协议封掉，可把443端口关掉；
2、做HTTPS到http的301；
3、建议站点在改HTTPS没改造好之前，不要提供超链接指向，以免被Spider抓到HTTPS。
4、针对一个服务器下有多个域名的情况，建议未做HTTPS的网站，设置HTTPS抓取返回失败码，或将HTTPS站点301/302到HTTP，避免抓取出现问题。
来源：百度搜索资源平台
近期收到一些开发者反馈，为什么网站或智能小程序资源的内容非常优质，但是没有查询到百度蜘蛛抓取记录，或在百度搜索中没有得到收录和展现？在技术分析后发现，有些网站或智能小程序存在封禁百度蜘蛛的情况，导致百度蜘蛛无法正常抓取，所以无法在百度搜索中正常收录和展现，或在搜索结果中的摘要展现为“存在robots封禁”字样。为了让广大开发者的网站或小程序，在百度搜索中得到正常的收录和展现，建议开发者及时根据以下
搜索引擎通过站长们提供资源，来满足用户的搜索需求，而站长通过搜索引擎将网站的内容传播出去，获得有效的流量和用户。蜘蛛在抓取过程中双方都要遵守一定的规范，便于搜索引擎抓取，不要使用过多对搜索引擎不友好的元素。蜘蛛抓取过程中涉及的网络协议有以下四种：1、HTTP协议HTTP是超文本传输协议，在互联网上被广泛应用的一种网络协议，客户端和服务器端请求和应答的标准。用户通过浏览器或蜘蛛等对指定端口发起一个请
1. 设置robots.txt文件 在根目录中建立一个robots.txt文件，设置禁止百度抓取即可达到屏蔽百度爬虫的效果，具体设置内容如下： User-agent: Baiduspider Disallow: / 2. 自定义Http请求 百度爬虫最显著的特征就是它的User_Agent中包含Baiduspider，一般在Http头中添加请求头：X-Baidu-Env：martin-
PC搜索完整UA：Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）移动搜索完整UA：Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile
