【院长帮帮忙】资讯页不收录，原来是抢发惹的祸（第四期）
里约奥运会结束了，资讯站点的小编们终于可以松口气了，可有些SEOer却高兴不起来：编辑辛苦抢先制作的原创稿件，百度却不！收！录！院长奥运会期间接到了四五起这样的反馈，经追查，原来是站点的抢发行为不够友好，导致spider抓取失败。结论：
1，页面制作完成后再放到spider可以发现的地方，这样才能达到最好的抓取效果。
2，页面未对外公开之前，千万不要通过工具推送给百度呀。
接到站长反馈后，院长联系了spider工程师，工程师在后台查询了这些未收录的链接，发现均显示为“死链”，然而这些所谓的死链现在访问都是好好的。根据后台显示的抓取时间，院长反复和站点进行沟通，终于找到了根源：原来，站点为了抢新闻，提前制作了新闻稿并制作成链接并且发布，虽然没有在首页等重要页面推送给用户，但却被BaiduSpider发现，更重要的是，这些链接向BaiduSpider返回的状态码是404。
举个例子，中国女排进入决赛后，某网站做了A和B两个页面，分别为夺冠和摘银，为了防止用户在比赛结束之前阅读到页面内容，站点将两个链接都设置为404！404！（等到比赛结束后，再将其中一个页面的html返回码改为200）。虽然页面并没有向用户推送，但还是被聪明的BaiduSpider发现。然而这里的问题是，BaiduSpider发现页面是404，又无法判断出这是一个重要页面，于是直接打入冷宫不再理睬。
所以，学堂反复强调，确认页面真的不需要被搜索引擎保留时可以使用404（临时闭站可使用百度站长平台的闭站保护工具），如果还希望和搜索引擎保持友好关系的话，请使用503，防止页面被删除。虽然Baidu有对高价值内容的“删除保护”功能，但毕竟不是每个站点都可以享受到这个特权的。
来源：百度搜索资源平台 百度搜索学堂
Public @ 2009-06-13 15:22:04