搜尋引擎為什麼這麼快?分布式檔案系統與分布式資料庫

2021-10-07 22:03:51 字數 358 閱讀 7800

花了乙個月開發了乙個漢語詞典搜尋引擎,速度非常快,使用了分布式檔案系統與分布式資料庫,分布式檔案系統是將相同的檔案同時儲存到網路上多台伺服器上後,就可以有以下功能和優點:

提高檔案的訪問效率:dfs伺服器會向客戶端提供乙個伺服器列表,列表中的這些伺服器內部有客戶端所需要的檔案。dfs會將最接近客戶端的伺服器,放在列表最前面,以便讓客戶端優先從這台伺服器來訪問檔案 。

伺服器負載平衡功能:由於存放相同檔案,有可能有多台伺服器。當多個客戶端訪問同一資源時,可能會從不同伺服器來訪問所需的檔案,從而可以減輕單一伺服器的負擔。

分布式搜尋引擎

es是基於lucene實現的分布式搜尋引擎 elasticsearch。核心思想是在多台機器上啟動多個es程序例項,組成了乙個es集群。es中儲存資料的基本單位是索引,比如說你現在要在es中儲存一些訂單資料,你就應該在es中建立乙個索引,order idx,所有的訂單資料就都寫到這個索引裡面去,乙個...

DFS分布式檔案搜尋引擎

size medium b 這個搜尋引擎的主要特點是 b list 基於分布式的高效能檔案搜尋引 支援的檔案總大小可達到數百tb 數萬gb 單個檔案的大小可達數百gb 支援的檔案數量可超過數千萬個 支援ocr 光學字元識別 多語言支援,如英語 漢語 阿拉伯語 俄語 日語等 支援中文的自定義分詞 介面...

ElasticSearch分布式搜尋引擎 高階查詢

本文承接自 elasticsearch分布式搜尋引擎簡介及其增刪改查那些事 elasticsearch分布式搜尋引擎 基本查詢 bool把各種其它查詢通過must 與 must not 非 should 或 的方式進行組合 get testindex511 search must not shoul...