爬行和抓取 是搜索引擎工作的第一步，完成数据收集任务。
1、蜘蛛：
搜索引擎用来爬行和访问页面的程序被称为蜘蛛（spider），也称为机器人（bot）。
2、跟踪链接：
为了抓取网上尽量多的页面，搜索引擎蜘蛛会跟踪页面上的链接，从一个页面爬到下一个页面，就好像蜘蛛在蜘蛛网上爬行那样，这也是搜索引擎蜘蛛这个名称的由来。
3、吸引蜘蛛：
理论上蜘蛛能爬行和抓取所有页面，但实际上不能，也不会这么做。SEO人员想要让自己的更多页面被收录，就要想方设法吸引蜘蛛抓取。
4、地址库：
为了避免重复爬行和抓取网址，搜索引擎会建立一个地址库，记录已经被发现还没有抓取的页面，以及已经被抓取的页面。
5、文件储蓄：
搜索引擎蜘蛛抓取的数据存入原始页面数据库。其他的页面数据与用户浏览器得到的HTML是完全一样的。每个URL都是这样一个独特的文件编号。
来源：搜外网
搜索引擎检索系统是一种利用计算机程序和算法为用户提供信息检索服务的系统。其作用是在海量的信息中快速准确地找到用户需要的信息并返回给用户。 搜索引擎检索系统包括以下几个基本部分： 1. 爬虫：负责收集互联网上的网页等信息，并将其保存到搜索引擎的数据库中。 2. 索引器：通过对网页内容进行分析和加工处理，建立一张包含关键词和网页链接的索引表，以便搜索引擎能够快速地响应用户的检索请求。 3. 检
感谢Mr.Zhao的投稿：搜索引擎最重要的是什么?有人会说是查询结果的准确性，有人会说是查询结果的丰富性，但其实这些都不是搜索引擎最最致命的地方。对于搜索引擎来说，最最致命的是查询时间。试想一下，如果你在百度界面上查询一个关键词，结果需要5分钟才能将你的查询结果反馈给你，那结果必然是你很快的舍弃掉百度。搜索引擎为了满足对速度苛刻的要求(现在商业的搜索引擎的查询时间单位都是微秒数量级的)，所以采用缓
搜索引擎基本结构一般包括：搜索器、索引器、检索器、用户接口等四个功能模块。1、搜索器：搜索器也叫网络蜘蛛，是搜索引擎用来爬行和抓取网页的一个自动程序，在系统后台不停歇地在互联网各个节点爬行，在爬行过程中尽可能快的发现和抓取网页。2、索引器。它的主要功能是理解搜索器所采集的网页信息，并从中抽取索引项。3、检索器。其功能是快速查找文档，进行文档与查询的相关度评价，对要输出的结果进行排序。4、用户接口。
搜索引擎是通过比较网页URL，内容和相关属性来删除重复网页的，具体步骤如下： 1. 搜索引擎收集器(Crawler)会在网络上发现新网页并收集，此时会有一定概率发现相同的网页，并添加到收集器的索引中去。 2. 收集器会识别新的网页，把重复的网页排除。 3. 然后，搜索引擎把新索引serves给布置在 Indexer(索引器)中，执行深入索引，会把相同内容的文章及URL排除，仅保留一条记录
