布隆過濾器個人認識

2022-02-05 14:45:54 字數 389 閱讀 9738

用於網頁黑名單系統,垃圾郵件過濾系統,爬蟲的**判重系統。

一般的意思是在大量資料集合中,判斷乙個新資料是否存在於這個集合中。

資料量少還可以使用hashmap和點陣圖bitmap。資料一大占用記憶體不理想。

布隆的做飯法是,開闢乙個長度為m的點陣圖陣列,對於每乙個集合的元素使用多個hash函式計算得值%m,落在陣列上的位置

都置1,這樣計算完乙個集合樣本之後,位圖陣列就被置了很多1,當乙個新資料來了,將那多個hash函式計算一下,如果得到的%m之後發現在位圖陣列上都是1了,那麼可以確定這個資料在集合裡,如有乙個或多個為0,那就不是。刪乙個樣本不容易。

樣本數量為n,失誤率為p,

m = -(n*lnp)/(ln2)^2

雜湊函式的個數k = ln2 * m/n;

布隆過濾器

布隆過濾器 bloom filter 是1970年由布隆提出的。它實際上是乙個很長的二進位制向量和一系列隨機對映函式。布隆過濾器可以用於檢索乙個元素是否在乙個集合中。它的優點是空間效率和查詢時間都遠遠超過一般的演算法,缺點是有一定的誤識別率和刪除困難。如果想要判斷乙個元素是不是在乙個集合裡,一般想到...

布隆過濾器

布隆過濾器的概念 如果想要判斷乙個元素是不是在乙個集合裡,一般想到的是將所有元素儲存起來,然後通過比較確定。鍊錶,樹等等資料結構都是這種思路.但是隨著集合中元素的增加,我們需要的儲存空間越來越大,檢索速度也越來越慢 o n o logn 不過世界上還有一種叫作雜湊表 又叫 雜湊表,hash tabl...

布隆過濾器

如果想判斷乙個元素是不是在乙個集合裡,一般想到的是將集合中所有元素儲存起來,然後通過比較確定。鍊錶 樹 雜湊表 又叫雜湊表,hash table 等等資料結構都是這種思路。但是隨著集合中元素的增加,我們需要的儲存空間越來越大。同時檢索速度也越來越慢。bloom filter 是一種空間效率很高的隨機...