点 HTTP状态代码是指网站服务器对用户请求的响应结果。根据不同的HTTP状态代码，搜索引擎可以了解网页更新的频率，以及网页存在的情况，从而判断是否应该继续Crawl你的站点： HTTP 200：这是最常见的状态码，表示请求成功。搜索引擎会解析服务器返回的网页内容，并继续向您的站点爬取其他页面。 HTTP 301/302：这些状态码表示链接已经更改，搜索引擎会更新当前网页的链接，并继续爬取新的链接。 HTTP 404：这个状态码表示网页不存在，搜索引擎会忽略这个页面，并爬取其它可用的页面。 HTTP 403：这个状态码表示服务器拒绝了用户请求，搜索引擎会终止此次爬取行为，并跳过此页面。
铛铛铛铛！好久不见，平小雕带着最新一期搜索问答剧场又双叒回来啦！第五集【搜索问答剧场】，为大家带来“百度蜘蛛”的全面解析，帮助大家清楚的了解“百度蜘蛛”在各种场景发挥的作用，为网站整体运营打下基础。【抓取篇】1、什么是Baiduspider？A：Baiduspider也叫百度蜘蛛，是百度搜索引擎的一个自动程序，它的作用是访问互联网上的网页，建立索引数据库，使用户能在百度搜索引擎中搜索到网站相关内容
sogou spider 支持 robots 协议，您可以在网站的根目录放置 robots.txt。robots.txt 的规则请参阅 http://www.robotstxt.org/。需要注意的是，最新更新的 robots.txt 可能需要几个星期才能体现出效果来，另外，被您禁止 sogou spider 收录的网页将不能在搜狗搜索引擎上检索到。
503状态码表示服务器暂时无法处理请求，常见的原因有服务器过载、维护或升级等。与防止网页被删除的关系不太直接，但可以理解为服务器因某种原因暂时无法提供网页内容，因此用户无法访问网页。通常情况下，当服务器恢复正常后，状态码会变为200或其他合适的状态码，用户就可以正常访问网页了。
HTTP状态码：是服务器和客户端之间交流信息的语言。访问除了用户以外还有蜘蛛，用户通过浏览器访问的话会生成网站日志，蜘蛛在爬取网站的时候也会生成网站日志。举个例子：“200”这个HTTP状态码代表的是，“你的请求，已经成功发送”。 如果客户端向服务器发送一个链接，服务器返回“200”。 说明服务器正常返回了客户端需要的信息。HTTP状态码有什么用？HTTP状态码是Web Server服务器用来告诉
