网页时效性：互联网上的用户众多，数据信息来源极广，互联网上的网页是呈实时动态变化的，网页的更新、删除等变动极为频繁，有时候会出现新更新的网页在爬虫程序还来不及抓取的时候却已经被删除的情况，这将大大影响搜索结果的准确性。
大数据存储问题：爬虫抓取的数据在经过预处理后数据量依然相当庞大，这给大数据存储技术带来相当大的挑战。当前大部分搜索引擎都是利用结构化的数据库来存储数据，结构化的数据库存储的数据具有高共享、低冗余等特点，然而由于结构化的数据库难以并发查询所以存在查询效率受限的问题。
检索结果可靠性：目前由于数据挖掘技术以及计算机硬件的限制使得数据处理准确度未能达到理想程度，而且由于一些个人或公司利用搜索引擎现有的漏洞通过作弊手段来干扰检索结果导致检索结果的可靠性可能会有损失。
第一步：登录百度账号 , 找到想要投诉的搜索结果点击 “ 百度快照 ”-- 在打开的百度快照页面上方点击 “ 投诉快照 ” ，或 前往百度服务中心发起投诉 第二步：复制百度快照地址（如果通过 “ 百度快照 ” 点击 “ 投诉快照 ” 进入投诉页面，快照地址会自动代入，请忽略这步）第三步：填写有效邮箱第四步：提交
如果您是网站拥有者，则需要在验证网站所有权后申请删除整个网站或目录。为确保永久删除您的目录或网站，请使用 robots.txt 阻止抓取工具访问该目录（如果要删除的是网站，则应阻止抓取工具访问您的整个网站）。我们建议您在请求删除目录前或请求删除后不久执行该操作。否则，您的内容稍后可能会重新显示在搜索结果中。仅返回 404 HTTP 状态代码还不够，因为可能出现这样一种情况：即某个目录返回了 404
搜索引擎的用户是网上搜索信息的人，客户是广告商。目前所有的搜索引擎都是通过搜索竞价广告赢利的，不同搜索引擎的区别只在于竞价广告出现的位置、数目及是否比较清晰地标明是广告，其PPC本质是一样的。要想通过搜索广告赢利，就必须有搜索用户使用搜索引擎。那站长们(以站长身份出现时而不是搜索用户)说到底不是搜索引擎的用户，更不是他们的客户。搜索引擎并不欠站长或SEO人员什么东西，网站收录不收录，排名怎么样，都
一月份时，Google新的SEO代言人Gary Illyes在Google官方博客上发了一篇帖子：What Crawl Budget Means for Googlebot，讨论了搜索引擎蜘蛛抓取份额相关问题。对大中型网站来说，这是个颇为重要的SEO问题，有时候会成为网站自然流量的瓶颈。今天的帖子总结一下Gary Illyes帖子里的以及后续跟进的很多博客、论坛帖子的主要内容，以及我自己的一些案例
