Categories


Tags


搜索引擎检索系统概述

前面简要介绍过了搜索引擎的索引系统,实际上在建立倒排索引的最后还需要有一个入库写库的过程,而为了提高效率这个过程还需要将全部term以及偏移量保存在文件头部,并且对数据进行压缩,这涉及到的过于技术化在此就不多提了。今天简要给大家介绍一下索引之后的检索系统。

检索系统主要包含了五个部分,如下图所示:

索引&检索.jpg

(1)Query串切词分词即将用户的查询词进行分词,对之后的查询做准备,以“10号线地铁故障”为例,可能的分词如下(同义词问题暂时略过):

10 0x123abc

号 0x13445d

线 0x234d

地铁 0x145cf

故障 0x354df

(2)查出含每个term的文档集合,即找出待选集合,如下:

0x123abc 1 2 3 4 7 9…..

0x13445d 2 5 8 9 10 11……

……

……

(3)求交,上述求交,文档2和文档9可能是我们需要找的,整个求交过程实际上关系着整个系统的性能,这里面包含了使用缓存等等手段进行性能优化;

(4)各种过滤,举例可能包含过滤掉死链、重复数据、色情、垃圾结果以及你懂的;

(5)最终排序,将最能满足用户需求的结果排序在最前,可能包括的有用信息如:网站的整体评价、网页质量、内容质量、资源质量、匹配程度、分散度、时效性等等,之后会详细给大家介绍。

如果大家对搜索引擎检索还有别的疑问,大家可以到[学堂同学汇][学习讨论]《搜索引擎检索系统概述》讨论帖中发表自己的看法,我们的工作人员会关注这里并与大家进行探讨。

来源:百度搜索资源平台 百度搜索学堂


Public @ 2011-11-07 16:21:49

爬行和抓取

爬行是指动物的行动方式,通常涉及身体的爬行和爬行的动作,如爬行动物(如蛇和蜥蜴)和爬行昆虫(如蚂蚁和蜘蛛)。 抓取是指通过握住或接触来获取动物或物体的行动。抓取可以包括动物的牙齿、爪子、手指、手掌和指甲等器官或物品如工具或表面。抓取通常是为了获取食物或其他资源,或者以进行自我保护或攻击。

Public @ 2023-04-16 07:00:07

搜索引擎是怎么删除重复网页的

搜索引擎是通过比较网页URL,内容和相关属性来删除重复网页的,具体步骤如下: 1. 搜索引擎收集器(Crawler)会在网络上发现新网页并收集,此时会有一定概率发现相同的网页,并添加到收集器的索引中去。 2. 收集器会识别新的网页,把重复的网页排除。 3. 然后,搜索引擎把新索引serves给布置在 Indexer(索引器)中,执行深入索引,会把相同内容的文章及URL排除,仅保留一条记录

Public @ 2023-02-24 23:12:24

搜索引擎网页去重算法分析

相关统计数据表明:互联网上近似重复的网页的数量占网页总数量的比例高达29%,完全相同的网页大约占网页总数量的22%.研究表明,在一个大型的信息采集系统中,30%的网页是和另外70%的网页完全重复或近似重复的。即:互联网的网页中相当高的比例的网页内容是近似相同或完全相同的!搜索爬虫抓取会产生网页重复的类型:1.多个URL地址指向同一网页以及镜像站点如:www.sina.com 和www.sina.c

Public @ 2020-07-15 16:21:55

搜索引擎体系结构

搜索引擎基本结构一般包括:搜索器、索引器、检索器、用户接口等四个功能模块。1、搜索器:搜索器也叫网络蜘蛛,是搜索引擎用来爬行和抓取网页的一个自动程序,在系统后台不停歇地在互联网各个节点爬行,在爬行过程中尽可能快的发现和抓取网页。2、索引器。它的主要功能是理解搜索器所采集的网页信息,并从中抽取索引项。3、检索器。其功能是快速查找文档,进行文档与查询的相关度评价,对要输出的结果进行排序。4、用户接口。

Public @ 2018-03-04 16:22:54

更多您感兴趣的搜索

0.515293s