布隆過濾器

2022-10-11 04:09:06 字數 504 閱讀 5879

講個使⽤場景,⽐如我們在使⽤新聞客戶端看新聞時,它會給我們不停地推薦新的內容,它每次推薦時要去重,去掉那些已經看過的內容。問題來了,新聞客戶端推薦系統如何實現推送去重的?你會想到伺服器記錄了⽤戶看過的所有歷史記錄,當推薦系統推薦新聞時會從每個⽤戶的歷史記錄⾥進⾏篩選,過濾掉那些已經存在的記錄。問題是當⽤戶量很⼤,每個⽤戶看過的新聞⼜很多的情況下,這種⽅式,推薦系統的去重⼯作在效能上跟的上麼?

redis 官⽅提供的布隆過濾器到了 redis 4.0 提供了外掛程式功能之後才正式登場。布隆過濾器作為⼀個外掛程式載入到 redis server 中,給redis 提供了強⼤的布隆去重功能。

作為乙個外掛程式需要安裝。

布隆過濾器有⼆個基本指令,bf.add 新增元素,bf.exists 查詢 元素是否存在,它的⽤法和 set 集合的 sadd 和 sismember 差不 多。注意 bf.add 只能⼀次新增⼀個元素,如果想要⼀次新增多 個,就需要⽤到 bf.madd 指令。同樣如果需要⼀次查詢多個元素是 否存在,就需要⽤到 bf.mexists 指令。

布隆過濾器

布隆過濾器 bloom filter 是1970年由布隆提出的。它實際上是乙個很長的二進位制向量和一系列隨機對映函式。布隆過濾器可以用於檢索乙個元素是否在乙個集合中。它的優點是空間效率和查詢時間都遠遠超過一般的演算法,缺點是有一定的誤識別率和刪除困難。如果想要判斷乙個元素是不是在乙個集合裡,一般想到...

布隆過濾器

布隆過濾器的概念 如果想要判斷乙個元素是不是在乙個集合裡,一般想到的是將所有元素儲存起來,然後通過比較確定。鍊錶,樹等等資料結構都是這種思路.但是隨著集合中元素的增加,我們需要的儲存空間越來越大,檢索速度也越來越慢 o n o logn 不過世界上還有一種叫作雜湊表 又叫 雜湊表,hash tabl...

布隆過濾器

如果想判斷乙個元素是不是在乙個集合裡,一般想到的是將集合中所有元素儲存起來,然後通過比較確定。鍊錶 樹 雜湊表 又叫雜湊表,hash table 等等資料結構都是這種思路。但是隨著集合中元素的增加,我們需要的儲存空間越來越大。同時檢索速度也越來越慢。bloom filter 是一種空間效率很高的隨機...