搜尋引擎索引系統概述(一)

2022-09-25 10:15:11 字數 931 閱讀 5340

程式設計驛站(www.cppcns.com)10月21日訊息  今日,百度站長平台lee撰文介紹了索引系統的相關問題概述。羅列出了如何能夠在最快的速度內返回使用者查詢結果,從而提高使用者體驗度的相關資訊。

搜尋引擎索引系統概述(一)原文如下:

眾所周知,搜尋引擎的主要工作過程包括:抓取、儲存、頁面分析、索引、檢www.cppcns.com索等幾個主要過程。過去幾周給大家介紹了抓取相關的簡要過程。今天簡要介紹一下索引系統,以億為單位的網頁庫中查詢特定的某些關鍵詞猶如大海裡面撈針,也許一定的時間內可以完成查詢,但是使用者等不起,從使用者體驗角度我們必須在毫秒級別給予使用者滿意的結果,否則使用者只能流失。怎樣才能達到這種要求呢?

如果能知道使用者查詢的關鍵詞(query切詞後)都出現在哪些頁面中,那麼使用者檢索的處理過程即程式設計客棧可以想象為包含了query中切詞後不同部分的頁面集合求交的過程,而檢索即變成了頁面名稱之間的比較、求交。這樣,在毫秒內以億為單位的檢索成為了可能。這就是通常所說的倒排索引及求交檢索的過程。如下為建立倒排索引的基本過程:

(1)頁面分析的過程實際上是將原始頁面的不同部分進行識別並標記,程式設計客棧例如:title、keywords、content、link、anchor、評論、其他非重要區域等等www.cppcns.com;

(2)分詞的過程實際上包括了切詞分詞同義詞轉換同義詞替換等等,以對某頁面title分詞為例,得到的將是這樣的資料:term文字、termid、詞類、詞性等等;

(3)之前的準備工作完成後,接下來即是建立倒排索引,形成,可以粗略的理解為如下,為什麼是【term->doc】,而不是直接應用【doc->term】呢?

上述即是索引系統中的倒排索引過程,是搜尋引擎實現毫秒級檢索非常重要的乙個環節。

相關文章:www.cppcns.com

搜尋引擎抓取系統概述(一)

搜尋引擎抓取系統概述(二)

本文標題: 搜尋引擎索引系統概述(一)

本文位址:

搜尋引擎概述

對資訊檢索的評價 準確率和召回率。準確率,precision 檢索出來的文件中,相關文件所佔比例。召回率,recall 全部相關文件中,被檢索出來的文件的比例。垂直搜尋,vertical search 針對某一主題 行業 應用 的特殊搜尋。評價 使用者與操作引擎互動的日誌是很有價值的資訊源。doc ...

搜尋引擎概述之倒排索引

考慮一下未來個人使用的裝置,它將是乙個機械化的個人圖書館,它需要乙個名字引起人們的注意 memex 就可以.memex是這樣乙個機械化裝置,人們可以在其中儲存書籍 記錄和信件,同時可以以很高的速度和極強的靈活性完成檢索.作為輔助裝置,它是人腦的無限擴大.bush,1945 說到提高檢索效率,就必然提...

搜尋引擎檢索系統概述

程式設計驛站 www.cppcns程式設計客棧.com 10月28日訊息 今日站長平台lee發布文章介紹了搜尋引擎索引系統的大概工作流程。主要包括 query串切詞分詞,查出含每個term的文件集合,求交,過濾,按需進行最終排序。前面簡要介紹過了搜尋引擎的索引系統,實際上www.cppcns.com...