百度站长平台lee官方版：搜索引擎索引系统概述（一）

来源：未知日期：2017-06-23 | 分类：seo

　　众所周知，搜索引擎的主要工作过程包括：抓取、存储、页面分析、索引、检索等几个主要过程。过去几周给大家介绍了抓取相关的简要过程。今天简要介绍一下索引系统，以亿为单位的网页库中查找特定的某些关键词犹如大海里面捞针，也许一定的时间内可以完成查找，但是用户等不起，从用户体验角度我们必须在毫秒级别给予用户满意的结果，否则用户只能流失。怎样才能达到这种要求呢？西安网站建设推荐阅读>>> 搜索引擎原理简单分析带图,

　　如果能知道用户查找的关键词（query切词后）都出现在哪些页面中，那么用户检索的处理过程即可以想象为包含了query中切词后不同部分的页面集合求交的过程，而检索即变成了页面名称之间的比较、求交。这样，在毫秒内以亿为单位的检索成为了可能。这就是通常所说的倒排索引及求交检索的过程。如下为建立倒排索引的基本过程：

　　（1）页面分析的过程实际上是将原始页面的不同部分进行识别并标记，例如：title、keywords、content、link、anchor、评论、其他非重要区域等等；

　　（2）分词的过程实际上包括了切词分词同义词转换同义词替换等等，以对某页面title分词为例，得到的将是这样的数据：term文本、termid、词类、词性等等；西安做网站推荐阅读>>> 搜索引擎抓取系统概述,

　　（3）之前的准备工作完成后，接下来即是建立倒排索引，形成{termàdoc}，可以粗略的理解为如下，为什么是【term->doc】,而不是直接应用【doc->term】呢？

　　上述即是索引系统中的倒排索引过程，是搜索引擎实现毫秒级检索非常重要的一个环节。西安做网站推荐阅读>>> Baiduspider抓取过程中的策略,

搜索引擎工作过程与seo

搜索引擎的工作的过程非常复杂，而简单的讲搜索引擎的工作过程大体可以分成三个阶段。爬行和抓取：搜索引擎蜘蛛通过跟踪链接访问页面，获取页面HTML代码存入数据库。预处理：搜索赢...
搜索引擎原理详解

搜索引擎，通常指的是收集了因特网上几千万到几十亿个网页并对网页中的每一个词（即关键词）进行索引，建立索引数据库的全文搜索引擎。当用户查找某个关键词的时候，所有在页面内容...
百度搜索引擎基础知识

从输入关键词，到百度给出搜索结果的过程，往往仅需几毫秒即可完成。百度是如何在浩如烟海的互联网资源中，以如此之快的速度将您的网站内容展现给用户？这背后蕴藏着什么样的工作流...
搜索引擎检索系统概述

百度站长平台Lee发布文章介绍了搜索引擎索引系统的大概工作流程。主要包括：Query串切词分词，查出含每个term的文档集合，求交，网站过滤，按需进行最终排序。,西安网站建设推荐阅读百度...
搜索引擎原理简单分析带图

先上图来简单看下搜索引擎的三板斧：数据搜集预处理【索引】排名。数据搜集即数据的搜集阶段，将网页从浩如瀚海的互联网世界搜集到自己的数据库中进行存储。 1、抓取维护策略面对大...
搜索引擎抓取系统概述

站长朋友们，今后定期都将在这里跟大家分享一些有关搜索引擎工作原理及网站运营相关的内容，今天先简单介绍一下关于搜索引擎抓取系统中有关抓取系统基本框架、抓取中涉及的网络协议...
Baiduspider抓取过程中的策略

spider在抓取过程中面对着复杂的网络环境，为了使系统可以抓取到尽可能多的有价值资源并保持系统及实际环境中页面的一致性同时不给网站体验造成压力，会设计多种复杂的抓取策略。以下...
百度搜索引擎工作原理-抓取、过滤、建立索引和输出结果

从输入关键词，到百度给出搜索结果的过程，往往仅需几毫秒即可完成。百度是如何在浩如烟海的互联网资源中，以如此之快的速度将您的网站内容展现给用户？这背后蕴藏着什么样的工作流...