快取擊穿 快取穿透 快取雪崩

2021-10-01 08:43:02 字數 2002 閱讀 8054

資料庫的發展中為了應對大量資料的場景,產生了nosql技術。而redis技術就是nosql技術中的一種,但是引入redis又有可能出現快取穿透,快取擊穿,快取雪崩等問題。

正常情況下,我們去查詢資料都是存在。那麼請求去查詢一條壓根兒資料庫中根本就不存在的資料,也就是快取和資料庫都查詢不到這條資料,但是請求每次都會打到資料庫上面去。這種查詢不存在資料的現象我們稱為快取穿透

如果有人惡意對你的系統進行攻擊,拿乙個不存在的id 去查詢資料,會產生大量的請求到資料庫去查詢。可能會導致你的資料庫由於壓力過大而宕掉。

2.3.1 快取空值

之所以會發生穿透,就是因為快取中沒有儲存這些空資料的key。從而導致每次查詢都到資料庫去了。那麼我們就可以為這些key對應的值設定為null 丟到快取裡面去。後面再出現查詢這個key 的請求的時候,直接返回null 。這樣,就不用在到資料庫中去走一圈了,但是別忘了設定過期時間。

2.3.2 bloomfilter

bloomfilter 類似於乙個hbase set 用來判斷某個元素(key)是否存在於某個集合中。這種方式在大資料場景應用比較多,比如 hbase 中使用它去判斷資料是否在磁碟上。還有在爬蟲場景判斷url 是否已經被爬取過。這種方案可以加在第一種方案中,在快取之前在加一層 bloomfilter ,在查詢的時候先去 bloomfilter 去查詢 key 是否存在,如果不存在就直接返回,存在再走查快取 -> 查 db。

2.4 如何選擇

針對於一些惡意攻擊,攻擊帶過來的大量key 是不存在的,那麼我們採用第一種方案就會快取大量不存在key的資料。此時我們採用第一種方案就不合適了,我們完全可以先對使用第二種方案進行過濾掉這些key。針對這種key異常多、請求重複率比較低的資料,我們就沒有必要進行快取,使用第二種方案直接過濾掉。而對於空資料的key有限的,重複率比較高的,我們則可以採用第一種方式進行快取。

3.1 什麼是擊穿

在平常高併發的系統中,大量的請求同時查詢乙個 key 時,此時這個key正好失效了,就會導致大量的請求都打到資料庫上面去。這種現象我們稱為快取擊穿

3.2 會帶來什麼問題

可能會造成快取在某個時間點過期的時候,恰好在這個時間點對這個key有大量的併發請求過來,這些請求發現快取過期一般都會從後端資料庫載入資料並回設到快取,這個時候大併發的請求可能會瞬間把後端資料庫壓垮。

3.3 如何解決

上面的現象是多個執行緒同時去查詢資料庫的這條資料,那麼我們可以在第乙個查詢資料的請求上使用乙個 互斥鎖來鎖住它。其他的執行緒走到這一步拿不到鎖就等著,等第乙個執行緒查詢到了資料,然後做快取。後面的執行緒進來發現已經有快取了,就直接走快取。

快取雪崩的情況是說,當某一時刻發生大規模的快取失效的情況,比如你的快取服務宕機了,會有大量的請求進來直接打到資料庫上面,但資料庫無法承受,導致奔潰。

4.2.1 事前:使用集群快取,保證快取服務的高可用

這種方案就是在發生雪崩前對快取集群實現高可用,如果是使用 redis,可以使用 主從+哨兵 ,redis cluster 來避免 redis 全盤崩潰的情況。

4.2.2 事中:ehcache本地快取 + hystrix限流&降級,避免mysql***

使用 ehcache 本地快取的目的也是考慮在 redis cluster 完全不可用的時候,ehcache 本地快取還能夠支撐一陣。使用 hystrix進行限流 & 降級 ,比如一秒來了5000個請求,我們可以設定假設只能有一秒 2000個請求能通過這個元件,那麼其他剩餘的 3000 請求就會走限流邏輯。然後去呼叫我們自己開發的降級元件(降級),比如設定的一些預設值呀之類的。以此來保護最後的 mysql 不會被大量的請求給打死。

4.2.3 事後:開啟redis持久化機制,盡快恢復快取集群

一旦重啟,就能從磁碟上自動載入資料恢復記憶體中的資料。

快取穿透 快取擊穿 快取雪崩

一 快取處理流程 前台請求,後台先從快取中取資料,取到直接返回結果,取不到時從資料庫中取,資料庫取到更新快取,並返回結果,資料庫也沒取到,那直接返回空結果。二 快取穿透 描述 快取穿透是指快取和資料庫中都沒有的資料,而使用者不斷發起請求,如發起為id為 1 的資料或id為特別大不存在的資料。這時的使...

快取穿透,快取擊穿,快取雪崩

所謂的快取穿透,簡單來講就是查詢某些不存在的key時,快取和資料庫查詢結果都為空,而空的結果又不被快取起來,而導致每次查詢都去請求資料庫層的情況。在流量大時,可能db就掛掉了,要是有人利用不存在的key頻繁攻擊我們的應用,這就是漏洞。過程 快取不命中,進而導致每次查詢都去查詢資料庫,快取也就失去了作...

快取穿透快取擊穿快取雪崩

1 快取穿透 1.1 什麼是快取穿透 快取穿透,是指查詢乙個資料庫一定不存在的資料 核心 快取和資料庫該值不存在 正常的使用快取流程大致是,資料查詢先進行快取查詢,如果key不存在或者key已經過期,再對資料庫進行查詢,並把查詢到的物件,放進快取。如果資料庫查詢物件為空,則不放進快取。1.2 帶來的...