快取穿透，快取擊穿，快取雪崩解決方案分析

設計乙個快取系統，不得不要考慮的問題就是：快取穿透、快取擊穿與失效時的雪崩效應。

快取穿透是指查詢乙個一定不存在的資料，由於快取是不命中時被動寫的，並且出於容錯考慮，如果從儲存層查不到資料則不寫入快取，這將導致這個不存在的資料每次請求都要到儲存層去查詢，失去了快取的意義。在流量大時，可能db就掛掉了，要是有人利用不存在的key頻繁攻擊我們的應用，這就是漏洞。

有很多種方法可以有效地解決快取穿透問題，

快取雪崩是指在我們設定快取時採用了相同的過期時間，導致快取在某一時刻同時失效，請求全部**到db，db瞬時壓力過重雪崩。

快取失效時的雪崩效應對底層系統的衝擊非常可怕。大多數系統設計者考慮用加鎖或者佇列的方式保證快取的單線程（程序）寫，從而避免失效時大量的併發請求落到底層儲存系統上。這裡分享乙個簡單方案就時講快取失效時間分散開，比如我們可以在原有的失效時間基礎上增加乙個隨機值，比如1-5分鐘隨機，這樣每乙個快取的過期時間的重複率就會降低，就很難引發集體失效的事件。

對於一些設定了過期時間的key，如果這些key可能會在某些時間點被超高併發地訪問，是一種非常「熱點」的資料。這個時候，需要考慮乙個問題：快取被「擊穿」的問題，這個和快取雪崩的區別在於這裡針對某一key快取，前者則是很多key。

快取在某個時間點過期的時候，恰好在這個時間點對這個key有大量的併發請求過來，這些請求發現快取過期一般都會從後端db載入資料並回設到快取，這個時候大併發的請求可能會瞬間把後端db壓垮。

1.使用互斥鎖(mutex key)

業界比較常用的做法，是使用mutex。簡單地來說，就是在快取失效的時候（判斷拿出來的值為空），不是立即去load db，而是先使用快取工具的某些帶成功操作返回值的操作（比如redis的setnx或者memcache的add）去set乙個mutex key，當操作返回成功時，再進行load db的操作並回設快取；否則，就重試整個get快取的方法。

setnx，是「set if not exists」的縮寫，也就是只有不存在的時候才設定，可以利用它來實現鎖的效果。在redis2.6.1之前版本未實現setnx的過期時間，所以這裡給出兩種版本**參考：

前單機版本鎖  
string get(string key) else 
} 
}

最新版本**：

public string get(key)  else   
} else 
}

memcache**：

if (memcache.get(key) == null)  else     
}

2. "提前"使用互斥鎖(mutex key)：

加鎖排隊只是為了減輕資料庫的壓力，並沒有提高系統吞吐量。假設在高併發下，快取重建期間key是鎖著的，這是過來1000個請求999個都在阻塞的。同樣會導致使用者等待超時，這是個治標不治本的方法。

還有乙個解決辦法解決方案是在value內部設定1個超時值(timeout1), timeout1比實際的memcache timeout(timeout2)小。當從cache讀取到timeout1發現它已經過期時候，馬上延長timeout1並重新設定到cache。然後再從資料庫載入資料並設定到cache中。偽**如下：

v = memcache.get(key);    
if (v == null) else 
} else else 
} 
}

3. "永遠不過期"：

這裡的「永遠不過期」包含兩層意思：

(1) 從redis上看，確實沒有設定過期時間，這就保證了，不會出現熱點key過期問題，也就是「物理」不過期。

(2) 從功能上看，如果不過期，那不就成靜態的了嗎？所以我們把過期時間存在key對應的value裡，如果發現要過期了，通過乙個後台的非同步執行緒進行快取的構建，也就是「邏輯」過期

從實戰看，這種方法對於效能非常友好，唯一不足的就是構建快取時候，其餘執行緒(非構建快取的執行緒)可能訪問的是老資料，但是對於一般的網際網路功能來說這個還是可以忍受。

string get(final string key)     
} 
}); 
} 
return value; 
}

4. 資源保護：

採用netflix的hystrix，可以做資源的隔離保護主線程池，如果把這個應用到快取的構建也未嘗不可。

四種解決方案：沒有最佳只有最合適

解決方案

優點缺點

簡單分布式互斥鎖（mutex key）

1. 思路簡單

2. 保證一致性

1. **複雜度增大

2. 存在死鎖的風險

「提前」使用互斥鎖

1. 保證一致性

同上不過期(本文)

1. 非同步構建快取，不會阻塞執行緒池

1. 不保證一致性。

2. **複雜度增大(每個value都要維護乙個timekey)。

3. 占用一定的記憶體空間(每個value都要維護乙個timekey)。

資源隔離元件hystrix(本文)

1. hystrix技術成熟，有效保證後端。

2. hystrix監控強大。

1. 部分訪問存在降級策略。

單機web系統情況下比較簡單。

解決思路：

1，直接寫個快取重新整理頁面，上線時手工操作下。

2，資料量不大，可以在web系統啟動的時候載入。

3，搞個定時器定時重新整理快取，或者由使用者觸發都行。

分布式快取系統，如memcached，redis，比如快取系統比較大，由十幾台甚至幾十台機器組成，這樣預熱會複雜一些。

解決思路：

1，寫個程式去跑。

2，單個快取預熱框架。

快取預熱的目標就是在系統上線前，將資料載入到快取中。

fifo演算法：first in first out，先進先出。原則：乙個資料最先進入快取中，則應該最早淘汰掉。也就是說，當快取滿的時候，應當把最先進入快取的資料給淘汰掉。

lfu演算法：least frequently used，最不經常使用演算法。

lru演算法：least recently used，近期最少使用演算法。請檢視：memcached之你真正理解lru嗎(4)

lru和lfu的區別。lfu演算法是根據在一段時間裡資料項被使用的次數選擇出最少使用的資料項，即根據使用次數的差異來決定。而lru是根據使用時間的差異來決定的

針對業務系統，永遠都是具體情況具體分析，沒有最好，只有最合適。

最後，對於快取系統常見的快取滿了和資料丟失問題，需要根據具體業務分析，通常我們採用lru策略處理溢位，redis的rdb和aof持久化策略來保證一定情況下的資料安全。

快取穿透，快取擊穿，快取雪崩解決方案分析

Redis快取穿透 快取擊穿 快取雪崩 解決方案

快取穿透，快取擊穿，快取雪崩解決方案

快取穿透，快取擊穿，快取雪崩解決方案分析

相關推薦

Redis快取穿透快取擊穿快取雪崩解決方案