布隆過濾器

2021-10-03 10:57:31 字數 902 閱讀 2643

顧名思義,它是乙個過濾器,發明它的人叫布隆,2023年提出的。

布隆過濾器實際上是乙個資料結構,是乙個很長的二進位制向量和一系列隨機對映函式,它是用來檢索乙個元素是否在這個集合中的。

在如今資料量巨大的情況下,布隆過濾器具有很好的空間效率和時間效率,一般布隆過濾器只有兩個功能,insert和i***ist。

當插入資料時不會關心他的索引值,也就是不關心插入項和索引值的關係。但是我們想要判斷資料在乙個資料項存不存只能通過遍歷的方法。那如果時資料量很大的時候呢?遍歷就會顯著捉襟見肘了,因此索引值才是判斷物件是否存在的最好辦法。

如同hashmap一般,利用hash表來計算出索引值。這就意味著索引值是由插入項來決定,布隆過濾器就是通過函式來計算索引值,進而判斷是否存在,這樣速度非常快。

根據布隆過濾器可以知道,元素可能在集合中或者不在集合中。因為布隆過濾器是通過多個函式計算來判斷對應bit為上是否為存在位,如果都是存在位,則可能存在,反則有乙個沒有落在存在位,則肯定不存在。

布隆過濾器的誤差率和雜湊的次數、已新增元素的數量、布隆過濾器的長度有關。

n -> 已新增元素數量

k -> hash次數

m -> 布隆過濾器的長度

python爬蟲爬網頁時,確定哪些網頁已經爬過,進行去重

黑名單業務處理,判斷是否處於黑名單

使用布隆過濾器防止惡意url

通過布隆過濾器減少不必要的查詢

解決快取穿透

查詢加速

判斷集合重複元素

布隆過濾器

布隆過濾器 bloom filter 是1970年由布隆提出的。它實際上是乙個很長的二進位制向量和一系列隨機對映函式。布隆過濾器可以用於檢索乙個元素是否在乙個集合中。它的優點是空間效率和查詢時間都遠遠超過一般的演算法,缺點是有一定的誤識別率和刪除困難。如果想要判斷乙個元素是不是在乙個集合裡,一般想到...

布隆過濾器

布隆過濾器的概念 如果想要判斷乙個元素是不是在乙個集合裡,一般想到的是將所有元素儲存起來,然後通過比較確定。鍊錶,樹等等資料結構都是這種思路.但是隨著集合中元素的增加,我們需要的儲存空間越來越大,檢索速度也越來越慢 o n o logn 不過世界上還有一種叫作雜湊表 又叫 雜湊表,hash tabl...

布隆過濾器

如果想判斷乙個元素是不是在乙個集合裡,一般想到的是將集合中所有元素儲存起來,然後通過比較確定。鍊錶 樹 雜湊表 又叫雜湊表,hash table 等等資料結構都是這種思路。但是隨著集合中元素的增加,我們需要的儲存空間越來越大。同時檢索速度也越來越慢。bloom filter 是一種空間效率很高的隨機...