Categories

Tags

抓取异常的原因有哪些

一、网站异常

1、dns异常

当Baiduspider无法解析您网站的IP时，会出现DNS异常。可能是您的网站IP地址错误，或者域名服务商把Baiduspider封禁。请使用WHOIS或者host查询自己网站IP地址是否正确且可解析，如果不正确或无法解析，请与域名注册商联系，更新您的IP地址。

2、连接超时

抓取请求连接超时，可能原因服务器过载，网络不稳定

3、抓取超时

抓取请求连接建立后，下载页面速度过慢，导致超时，可能原因服务器过载，带宽不足

4、连接错误

无法连接或者连接建立后对方服务器拒绝

二、链接异常

1、访问被拒绝

爬虫发起抓取，httpcode返回码是403

2、找不到页面

爬虫发起抓取，httpcode返回码是404

3、服务器错误

爬虫发起抓取，httpcode返回码是5XX

4、其他错误

爬虫发起抓取，httpcode返回码是4XX，不包括403和404

来源：百度搜索资源平台 百度搜索学堂


 Public @ 2018-09-22 16:02:23

百度搜索资源平台-抓取频次

使用说明1. 抓取频次是搜索引擎在单位时间内（天级）对网站服务器抓取的总次数，如果搜索引擎对站点的抓取频次过高，很有可能造成服务器不稳定，Baiduspider会根据网站内容更新频率和服务器压力等因素自动调整抓取频次2. Baiduspider会根据网站服务器压力自动进行抓取频次调整3. 建议您慎重调节抓取频次上限值，如果抓取频次过小则会影响Baiduspider对网站的收录来源：百度搜索资源平台

 Public @ 2017-12-10 16:06:48

百度智能小程序-主体信息填写

填写企业信息：图片填写运营者信息：图片填写完成后请点击提交，等待审核。每个帐号有 5 次提交审核机会，如 5 次审核均未通过，将不能再次提交。图片审核通过：将直接进入到小程序开发者后台创建小程序，完善基本信息也可以进行真实性认证。审核被拒绝：请参考拒绝原因点击返回修改后重新提交主体认证信息，如有疑问请咨询客服。图片来源：百度智能小程序

 Public @ 2017-06-13 16:05:14

为什么抓取频次突然减少？

有几种可能导致抓取频次突然减少： 1. 目标网站更新频率降低：如果目标网站上新内容的频率降低，爬虫抓取的频率也会相应减少。 2. 网站防护机制升级：目标网站可能会升级其防护机制，包括对于爬虫的限制，例如设置IP限制、频率限制等，这些限制可能导致爬虫的抓取频次减少。 3. 抓取程序故障：抓取程序可能出现故障，例如程序崩溃、运行异常等，导致抓取频次下降。 4. 数据分析需要减少抓取频次：如果数

 Public @ 2023-06-01 11:50:20

【技术支持】自主删除功能使用

Q：通过删除工具删除的资源还会被自然结果收录吗？A：不会影响到自然结果收录或其他产品的展现。Q：已提交正在生效中的数据是否可以通过删除工具进行删除？A：不建议，此行为无法保证预期生效或下线效果，建议只针对平台反馈已生效的数据进行删除操作。Q：以前通过视频搜索服务cms或xml接口提交生效的视频数据可以用删除工具下线吗？A：不可以，以前通过视频搜索服务cms或xml接口提交生效的视频数据仍需发送【数

 Public @ 2017-07-29 16:03:00

更多您感兴趣的搜索

0.612494s