布隆過濾器

2021-08-26 15:08:01 字數 926 閱讀 1280

用於查詢乙個元素是否屬於乙個集合,是在hash的一般陣列儲存開銷過大的解決方式。

注:布隆過濾器存在失誤率。

以左神給的例子來說吧:

需求:現有乙個黑名單,包括100億的url,假設每個url占用空間為64位元組,查詢乙個url是否在黑名單內,o(1)時間複雜度。

o(1)時間複雜度:就是在暗示查詢用hash。

我們算一下空間成本,忽略掉指標域,只看資料本身,也需要100億*64=6400億位元組~640g。(っ°д°;)っ are you kidding me?

對於大空間開銷的問題,要聯想到bit陣列,因為最小的資料型別char都有8bit呢,所以bit陣列一定可以降低開銷。

但是bit陣列每一位只能表示0和1怎麼辦呢(°д°)。。。。。。 

嗯,直接進入正題吧 ╮(╯д╰)╭,技術不夠,文本來湊。

0、1,bool邏輯值,我們可以用0、1表示某個hash值對應的url是否存在。

嗯,衝突咋辦(っ°д°;)っ。。。。。。那就多用幾個hash。。。。。。

我們有一組hash函式:hash1、hash2、、、、、、hashk,對乙個url,我們分別進行k次hash,將結果對應位抹為1,這樣,只有在乙個url對應的k個hash值的位都為1時才是黑名單裡的url,失誤率**了哎,┑( ̄▽  ̄)┍。

左神用的是int型別的陣列,設hashindex為hash後的結果,那麼抹黑的方式為:

intindex=hashindex/32;

bitindex=hashindex%32;

a[intindex]=a[intindex]|(1《失誤率公式:m=-(n*lnp)/(ln2)^2。

m:位元空間大小

n:樣本量

p:預期失誤率

雜湊函式個數:k=ln2*m/n=0.7*m/n

當m和k向上取整後,實際的失誤率為:(1-e^(-n*k/m))^k

布隆過濾器

布隆過濾器 bloom filter 是1970年由布隆提出的。它實際上是乙個很長的二進位制向量和一系列隨機對映函式。布隆過濾器可以用於檢索乙個元素是否在乙個集合中。它的優點是空間效率和查詢時間都遠遠超過一般的演算法,缺點是有一定的誤識別率和刪除困難。如果想要判斷乙個元素是不是在乙個集合裡,一般想到...

布隆過濾器

布隆過濾器的概念 如果想要判斷乙個元素是不是在乙個集合裡,一般想到的是將所有元素儲存起來,然後通過比較確定。鍊錶,樹等等資料結構都是這種思路.但是隨著集合中元素的增加,我們需要的儲存空間越來越大,檢索速度也越來越慢 o n o logn 不過世界上還有一種叫作雜湊表 又叫 雜湊表,hash tabl...

布隆過濾器

如果想判斷乙個元素是不是在乙個集合裡,一般想到的是將集合中所有元素儲存起來,然後通過比較確定。鍊錶 樹 雜湊表 又叫雜湊表,hash table 等等資料結構都是這種思路。但是隨著集合中元素的增加,我們需要的儲存空間越來越大。同時檢索速度也越來越慢。bloom filter 是一種空間效率很高的隨機...