快取世界中的三大問題及解決方案

2021-09-19 08:13:12 字數 2011 閱讀 1776

試想一下,如果有黑客會對你的系統進行攻擊,拿乙個不存在的id 去查詢資料,會產生大量的請求到資料庫去查詢。可能會導致你的資料庫由於壓力過大而宕掉。

2.3.1 快取空值

之所以會發生穿透,就是因為快取中沒有儲存這些空資料的key。從而導致每次查詢都到資料庫去了。

那麼我們就可以為這些key對應的值設定為null 丟到快取裡面去。後面再出現查詢這個key 的請求的時候,直接返回null 。

這樣,就不用在到資料庫中去走一圈了,但是別忘了設定過期時間。

2.3.2 bloomfilter

bloomfilter 類似於乙個hbase set 用來判斷某個元素(key)是否存在於某個集合中。

這種方式在大資料場景應用比較多,比如 hbase 中使用它去判斷資料是否在磁碟上。還有在爬蟲場景判斷url 是否已經被爬取過。

這種方案可以加在第一種方案中,在快取之前在加一層 bloomfilter ,在查詢的時候先去 bloomfilter 去查詢 key 是否存在,如果不存在就直接返回,存在再走查快取 -> 查 db。

流程圖如下:

針對於一些惡意攻擊,攻擊帶過來的大量key 是不存在的,那麼我們採用第一種方案就會快取大量不存在key的資料。

此時我們採用第一種方案就不合適了,我們完全可以先對使用第二種方案進行過濾掉這些key。

針對這種key異常多、請求重複率比較低的資料,我們就沒有必要進行快取,使用第二種方案直接過濾掉。

而對於空資料的key有限的,重複率比較高的,我們則可以採用第一種方式進行快取。

快取擊穿是我們可能遇到的第二個使用快取方案可能遇到的問題。

在平常高併發的系統中,大量的請求同時查詢乙個 key 時,此時這個key正好失效了,就會導致大量的請求都打到資料庫上面去。這種現象我們稱為快取擊穿。

會造成某一時刻資料庫請求量過大,壓力劇增。

上面的現象是多個執行緒同時去查詢資料庫的這條資料,那麼我們可以在第乙個查詢資料的請求上使用乙個 互斥鎖來鎖住它。

其他的執行緒走到這一步拿不到鎖就等著,等第乙個執行緒查詢到了資料,然後做快取。後面的執行緒進來發現已經有快取了,就直接走快取。

快取雪崩的情況是說,當某一時刻發生大規模的快取失效的情況,比如你的快取服務宕機了,會有大量的請求進來直接打到db上面。結果就是db 稱不住,掛掉。

4.2.1 事前:

使用集群快取,保證快取服務的高可用

這種方案就是在發生雪崩前對快取集群實現高可用,如果是使用 redis,可以使用 主從+哨兵 ,redis cluster 來避免 redis 全盤崩潰的情況。

4.2.2 事中:

ehcache本地快取 + hystrix限流&降級,避免mysql***

使用 ehcache 本地快取的目的也是考慮在 redis cluster 完全不可用的時候,ehcache 本地快取還能夠支撐一陣。

使用 hystrix進行限流 & 降級 ,比如一秒來了5000個請求,我們可以設定假設只能有一秒 2000個請求能通過這個元件,那麼其他剩餘的 3000 請求就會走限流邏輯。

然後去呼叫我們自己開發的降級元件(降級),比如設定的一些預設值呀之類的。以此來保護最後的 mysql 不會被大量的請求給打死。

4.2.3 事後:

開啟redis持久化機制,盡快恢復快取集群

一旦重啟,就能從磁碟上自動載入資料恢復記憶體中的資料。

防止雪崩方案如下圖所示:

我們在設定快取的時候,一般會給快取設定乙個失效時間,過了這個時間,快取就失效了。

對於一些熱點的資料來說,當快取失效以後會存在大量的請求過來,然後打到資料庫去,從而可能導致資料庫崩潰的情況。

5.1.1 設定不同的失效時間

為了避免這些熱點的資料集中失效,那麼我們在設定快取過期時間的時候,我們讓他們失效的時間錯開。

比如在乙個基礎的時間上加上或者減去乙個範圍內的隨機值。

5.1.2 互斥鎖

結合上面的擊穿的情況,在第乙個請求去查詢資料庫的時候對他加乙個互斥鎖,其餘的查詢請求都會被阻塞住,直到鎖被釋放,從而保護資料庫。

但是也是由於它會阻塞其他的執行緒,此時系統吞吐量會下降。需要結合實際的業務去考慮是否要這麼做。

快取三大問題及解決方案

隨著網際網路系統發展的逐步完善,提高系統的qps,目前的絕大部分系統都增加了快取機制從而避免請求過多的直接與資料庫操作從而造成系統瓶頸,極大的提公升了使用者體驗和系統穩定性。雖然使用快取給系統帶來了一定的質的提公升,但同時也帶來了一些需要注意的問題。快取穿透是指查詢乙個一定不存在的資料,因為快取中也...

快取三大問題及解決方案

隨著網際網路系統發展的逐步完善,提高系統的qps,目前的絕大部分系統都增加了快取機制從而避免請求過多的直接與資料庫操作從而造成系統瓶頸,極大的提公升了使用者體驗和系統穩定性。雖然使用快取給系統帶來了一定的質的提公升,但同時也帶來了一些需要注意的問題。快取穿透是指查詢乙個一定不存在的資料,因為快取中也...

快取的三大問題以及解決方案

redis經常用於系統中的快取,這樣可以解決目前io裝置無法滿足網際網路應用海量的讀寫請求的問題。快取穿透是指快取和資料庫中都沒有的資料,而使用者不斷發起請求,如發起id為 1的資料或者特別大的不存在的資料。有可能是黑客利用漏洞攻擊從而去壓垮應用的資料庫。對於快取穿透問題,常見的解決方案有以下三種 ...