Categories


Tags


【院长帮帮忙】页面无用时间信息导致网页不被爬虫抓取(第一期)

在【院长帮帮忙】栏目露过面的站点是编织汇(www.bianzhihui.com),该站点通过反馈中心反馈页面内容迟迟不被抓取,经百度工程师追查,原来是因为页面上的无用时间信息——没有想到是不是?同学们快来看看这个案例吧。也想让院长帮助追查吗?快来看看这里!

站点求助:现象

编织汇网站内容发布后几个礼拜都未曾收录。案例如下:

http://www.bianzhihui.com/t/6717(教程详细页面举例)

http://www.bianzhihui.com/u/12306 (用户页面举例)

http://www.bianzhihui.com/h/154 (编织花样页面举例)

我们已将这些url放入sitemap,并使用了百度统计的集成的JS推荐,但是未曾有改善。

站点求助:自查

根据反馈中心的回复,使用抓取异常工具诊断:未发现异常

院长出手,内部追查

工程师结论: spider抓取很及时,但因为该网站没有设置内容产出时间,网站底部却有个老旧时间日期,导致spider误以为网页内容老旧(具体策略较复杂,在此不做赘述)。建议增加页面内容产生时间,去掉没有必要的时间信息

*以上为旧页面截图,“2014年9月9日”对时间识别造成干扰。

站点总结:

1,网页上切忌勿乱加时间,如我们网站的(始于2014年9月9日)这种时间是一个大忌

2,网页内容尽可能加上产出时间,也就是发布时间

3,百度site的结果时间和权重并无太多关系

4,跟百度沟通的时候,一定要条例清晰,证据确凿。自身的问题一定要先排查准确。

来源:百度搜索资源平台 百度搜索学堂


Public @ 2015-07-21 15:22:04

为什么我的网站已经加了robots.txt,还能在百度搜索出来?

因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页,但百度搜索引擎数据库中已经建立的网页索引信息,可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。如果您的拒绝被收录需求非常急迫,也可以通过 投诉平台 反馈请求处理。

Public @ 2020-06-13 15:56:47

BaiDuSpider百度蜘蛛占用流量,robots.txt设置

在网站根目录下的 robots.txt 文件可以用来告诉搜索引擎蜘蛛(包括百度蜘蛛)哪些页面可以访问,哪些页面不可访问。通过设置 robots.txt 文件,可以控制蜘蛛的爬取范围,减少不必要的流量消耗。 以下是一个提供给百度蜘蛛的 robots.txt 示例: ``` User-agent: Baiduspider Disallow: /path/to/disallowed/page.htm

Public @ 2023-07-28 12:00:44

【院长帮帮忙】移动适配不稳定、不生效,可能是这些原因造成的!(第五期)

1. 未设置Viewport Viewport是指浏览器中用于控制页面布局和缩放比例的元标签,如果未设置Viewport,则移动端浏览器会将页面按照PC端浏览器默认的布局来显示,导致页面排版错乱。因此,需要在head部分加入Viewport的设置,例如: ```html ``` 2. 媒体查询错误 在进行移动适配时,我们通常会使用媒体查询来针对不同设备进行样式的调整。但是,如果媒体查询的

Public @ 2023-04-04 12:50:29

【院长帮帮忙】移动适配不稳定、不生效,可能是这些原因造成的!(第五期)

一、网站页面有跳转,适配不稳定站点反馈他们移动端的适配不稳定,移动展示的页面去预期效果不符;经查是站点在下载页面对机型进行了自适应,页面会根据机型跳转,所以移动端的展现不稳定;解决方案:1、建议站点将机型识别功能放置在下载按钮中,根据机型给予不同下载地址,而不是给予不同的下载页面;2、将pc-m的适配规则固定,不要一种pc页面指向多种移动页面;二、适配规则的混淆站点咨询为什么他们的适配规则老是不生

Public @ 2016-10-22 15:22:05

更多您感兴趣的搜索

0.651417s