网页时效性：互联网上的用户众多，数据信息来源极广，互联网上的网页是呈实时动态变化的，网页的更新、删除等变动极为频繁，有时候会出现新更新的网页在爬虫程序还来不及抓取的时候却已经被删除的情况，这将大大影响搜索结果的准确性。
大数据存储问题：爬虫抓取的数据在经过预处理后数据量依然相当庞大，这给大数据存储技术带来相当大的挑战。当前大部分搜索引擎都是利用结构化的数据库来存储数据，结构化的数据库存储的数据具有高共享、低冗余等特点，然而由于结构化的数据库难以并发查询所以存在查询效率受限的问题。
检索结果可靠性：目前由于数据挖掘技术以及计算机硬件的限制使得数据处理准确度未能达到理想程度，而且由于一些个人或公司利用搜索引擎现有的漏洞通过作弊手段来干扰检索结果导致检索结果的可靠性可能会有损失。
情况一网页已不存在如果网页已不存在，请确保服务器返回 404（未找到）。这样可让搜狗知道该网页已不存在，无需再在搜索结果中显示。情况二网页仍存在请使用 robots.txt 阻止 sogou spider 进行抓取。请注意，在通常情况下，即使您已通过 robots.txt 禁止抓取某个网址，但如果我们在其他网站中发现该网址，仍会将相应网页编入索引。这里需要说明一点，如果页面变死链了，并且设置了ro
如需修改展现的logo图片还请至：http://zhanzhang.baidu.com/property/index 提交审核即可。
复制内容网页有的时候会影响网页排名。比如说原本是你写的文章，本来应该排名很好，但是其他人抄袭或转载你的文章，而且搜索引擎不幸的判断那篇被抄袭或转载的网页是原始出处的话，你应有的排名就会被那个网页夺走。那么搜索引擎怎样才能从多个网页中挑出哪一个是原始出处呢？可能有以下几个考虑：1）网页PR值。网页PR值越高，被认为是原始版本的可能性就越大。2）网页第一次被收录的时间。网页被搜索引擎收录的时候越早，相
一月份时，Google新的SEO代言人Gary Illyes在Google官方博客上发了一篇帖子：What Crawl Budget Means for Googlebot，讨论了搜索引擎蜘蛛抓取份额相关问题。对大中型网站来说，这是个颇为重要的SEO问题，有时候会成为网站自然流量的瓶颈。今天的帖子总结一下Gary Illyes帖子里的以及后续跟进的很多博客、论坛帖子的主要内容，以及我自己的一些案例
