布隆過濾器

標準的布隆過濾器

>>> import bloompy

>>> bf = bloompy.bloomfilter(error_rate=0.001,element_num=10**3)
# 查詢元素是否在過濾器裡返回狀態標識
# 如果不在裡面則插入，返回false表示元素不在過濾器裡
>>> bf.add(1) 
false
>>> bf.add(1)
true
>>> 1 in bf
true
>>> bf.exists(1)
true
>>> bf.add([1,2,3])
false
>>> bf.add([1,2,3])
true
>>> [1,2,3] in bf
true
>>> bf.exists([1,2,3])
true
# 將過濾器儲存在乙個檔案裡
>>> bf.tofile('filename.suffix')
# 從乙個檔案裡恢復過濾器。自動識別過濾器的種類。
>>> recovered_bf = bloompy.get_filter_fromfile('filename.suffix')
# 或者使用過濾器類的類方法 'fromfile' 來進行過濾器的復原。對應的類只能恢復對應的過濾器
>>> recovered_bf = bloompy.bloomfilter.fromfile('filename.suffix')
# 返回已經插入的元素個數
>>> bf.count
2# 過濾器的容量
>>> bf.capacity
1000
# 過濾器的位向量
>>> bf.bit_array
bitarray('00....')
# 過濾器位陣列長度
>>> bf.bit_num
14400
# 過濾器的雜湊種子，預設是素數，可修改
>>> bf.seeds
[2, 3, 5, 7, 11,...]
# 過濾器雜湊函式個數
>>> bf.hash_num
10

>>> import  bloompy

>>> cbf = bloompy.countingbloomfilter(error_rate=0.001,element_num=10**3)
# 與標準布隆過濾器一樣
>>> cbf.add(12)
false
>>> cbf.add(12)
true
>>> 12 in cbf
true
>>> cbf.count
1# 查詢元素狀態返回標識，如果元素存在過濾器裡則刪除
>>> cbf.delete(12)
true
>>> cbf.delete(12)
false
>>> 12 in cbf
false
>>> cbf.count
0# 從檔案中恢復過濾器
>>> recovered_cbf = bloompy.countingbloomfilter.fromfile('filename.suffix')

>>> import bloompy

>>> sbf = bloompy.scalablebloomfilter(error_rate=0.001,initial_capacity=10**3)
# 預設初次可以設定容量1000
>>> len(sbf)
0>>> 12 in sbf
false
>>> sbf.add(12)
false
>>> 12 in sbf 
true
>>> len(sbf)
1>>> sbf.filters
>>> sbf.capacity
1000
#當過濾器的元素個數達到容量極限時，過濾器會自動增加內建的標準過濾器，
#每次增加2倍容量，自動實現擴容
>>> for i in range(1000):
sbf.add(i)
>>> 600 in sbf
true
>>> len(sbf)
2>>> sbf.filters
[, ]
>>> sbf.capacity
3000
# 從檔案中恢復過濾器
>>> recovered_sbf = bloompy.scalablebloomfilter.fromfile('filename.suffix')

標準擴容布隆過濾器的子類，功能繼承自標準擴容布隆過濾器，但支援刪除元素的操作。

>>> import bloompy

>>> scbf = bloompy.scbloomfilter(error_rate=0.001,initial_capacity=10**3)
>>> scbf.add(1)
false
>>> 1 in scbf
true
>>> scbf.delete(1)
true
>>> 1 in scbf
false
>>> len(scbf)
1>>> scbf.filters
# 插入元素使其達到過濾器當前容量極限值
>>> for i in range(1100):
scbf.add(i)
>>> len(scbf)
2>>> scbf.filters
[, ]
# 從檔案中恢復過濾器
>>> recovered_scbf = bloompy.scbloomfilter.fromfile('filename.suffix')

類方法』fromfile』

函式get_filter_fromfile()

如果你很清楚的知道當前檔案中的過濾器是乙個標準布隆過濾器，那麼你可以使類方法類恢復這個過濾器:

bloompy.bloomefilter.fromfile('filename.suffix)

如果是個計數布隆過濾器，那麼就是使用:

bloompy.countingbloomfilter.fromfile('filename.suffix)

其他也是使用對應的類方法來恢復對應的過濾器。

但如果你不知道檔案裡儲存是哪種過濾器，可以使用函式:

bloompy.get_filter_fromfile(『filename.suffix』)

它將會載入檔案位元組資料，自動判斷過濾器型別並返回對應例項進行復原。

布隆過濾器

布隆過濾器 bloom filter 是1970年由布隆提出的。它實際上是乙個很長的二進位制向量和一系列隨機對映函式。布隆過濾器可以用於檢索乙個元素是否在乙個集合中。它的優點是空間效率和查詢時間都遠遠超過一般的演算法，缺點是有一定的誤識別率和刪除困難。如果想要判斷乙個元素是不是在乙個集合裡，一般想到...

布隆過濾器

布隆過濾器的概念 如果想要判斷乙個元素是不是在乙個集合裡，一般想到的是將所有元素儲存起來，然後通過比較確定。鍊錶，樹等等資料結構都是這種思路.但是隨著集合中元素的增加，我們需要的儲存空間越來越大，檢索速度也越來越慢 o n o logn 不過世界上還有一種叫作雜湊表 又叫 雜湊表，hash tabl...

布隆過濾器

如果想判斷乙個元素是不是在乙個集合裡，一般想到的是將集合中所有元素儲存起來，然後通過比較確定。鍊錶 樹 雜湊表 又叫雜湊表，hash table 等等資料結構都是這種思路。但是隨著集合中元素的增加，我們需要的儲存空間越來越大。同時檢索速度也越來越慢。bloom filter 是一種空間效率很高的隨機...