Redis刪除策略和逐出演算法

2021-10-08 11:28:07 字數 2325 閱讀 3980

redis中的資料特徵:

redis是一種記憶體級資料庫,所有資料均存放在記憶體中,記憶體中的資料可以通過ttl指令獲取其狀態

xx :具有時效性的資料

-1 :永久有效的資料

-2 :已經過期的資料 或 被刪除的資料 或 未定義的資料

資料刪除策略:

1. 定時刪除

2. 惰性刪除

3. 定期刪除

時效性資料的儲存結構:

資料刪除策略的目標:

在記憶體占用與cpu占用之間尋找一種平衡,顧此失彼都會造成整體redis效能的下降,甚至引發伺服器宕機或記憶體洩露

1.定時刪除:2.惰性刪除:

資料到達過期時間,不做處理。等下次訪問該資料時如果未過期,返回資料

發現已過期,刪除,返回不存在

優點:節約cpu效能,發現必須刪除的時候才刪除

缺點:記憶體壓力很大,出現長期占用記憶體的資料

總結:用儲存空間換取處理器效能(拿空間換時間)

3.定期刪除:

這種方法就比較折中

redis啟動伺服器初始化時,讀取配置server.hz的值,預設為10

每秒鐘執行server.hz次

activeexpirecycle() 對每個expires[*]逐一進行檢測,每次執行250ms/server.hz

對某個expires檢測時,隨機挑選個key檢測

如果key超時,刪除key

如果一輪中刪除的key的數量》w25%,迴圈該過程

如果一輪中刪除的key的數量≤w25%,檢查下乙個expires,0-15迴圈(redis一共16個資料庫)

w取值=active_expire_cycle_lookups_per_loop屬性值

引數current_db用於記錄activeexpirecycle() 進入哪個expires[*] 執行

如果activeexpirecycle()執行時間到期,下次從current_db繼續向下執行

週期性輪詢redis庫中的時效性資料,採用隨機抽取的策略,利用過期資料佔比的方式控制刪除頻度

特點1:cpu效能占用設定有峰值,檢測頻度可自定義設定

特點2:記憶體壓力不是很大,長期占用記憶體的冷資料會被持續清理

總結:週期性抽查儲存空間(隨機抽查,重點抽查)

平時redis內部惰性刪除和定期刪除都有常見使用

4.逐出演算法:(逐出策略)

新資料進入檢測

當新資料進入redis時,如果記憶體不足怎麼辦?

redis使用記憶體儲存資料,在執行每乙個命令前,會呼叫freememoryifneeded()檢測記憶體是否充足。

如果記憶體不滿足新加入資料的最低儲存要求,redis要臨時刪除一些資料為當前指令清理儲存空間。清理資料的策略稱為逐出演算法。

注意:逐出資料的過程不是100%能夠清理出足夠的可使用的記憶體空間,如果不成功則反覆執行。

當對所有資料嘗試完畢後,如果不能達到記憶體清理的要求,將出現錯誤資訊記憶體溢位。

影響資料逐出的相關配置(在配置檔案中配置)

最大可使用記憶體  maxmemory

占用物理記憶體的比例,預設值為0,表示不限制。生產環境中根據需求設定,通常設定在50%以上。

每次選取待刪除資料的個數 maxmemory-samples

選取資料時並不會全庫掃瞄,導致嚴重的效能消耗,降低讀寫效能。因此採用隨機獲取資料的方式作為待檢測刪除資料

刪除策略(和上面講的對過期資料的刪除策略沒有任何關係)  maxmemory-policy volatile-lru 建議設成此值

達到最大記憶體後的,對被挑選出來的資料進行刪除的策略

資料逐出策略配置依據

使用info命令輸出監控資訊,查詢快取 hit(key空間命中次數) 和 miss(key空間丟失次數) 的次數,根據業務需求調優redis配置

參考:黑馬程式設計師-redis公開課

Redis 刪除策略與逐出演算法

逐出演算法 參考 優點 節約記憶體,到時就刪除,快速釋放掉不必要的記憶體占用 缺點 cpu壓力很大,無論cpu此時負載量多高,均占用cpu,會影響redis伺服器響應時間和指令吞吐量 總結 用處理器效能換取儲存空間 拿時間換空間 優點 節約cpu效能,發現必須刪除的時候才刪除 缺點 記憶體壓力很大,...

Redis入門 刪除策略與逐出演算法

redis是一種記憶體級別的資料庫,所有資料均存放在記憶體中。redis中資料可分為具有時效性的資料 永久有效的資料 已經 過期的資料或被刪除的資料或未定義的資料。我們可以通過redis的ttl指令查詢資料的狀態 xx 具有時效性的資料 1 永久有效的資料 2 已經過期的資料 或 被刪除的資料 或未...

Redis快取逐出策略

把 redis 當做快取使用時,有時你可以方便的讓它在新資料時自動逐出舊資料。這一點大家都比較清楚,因為 memcached 預設也會這麼幹。redis 僅支援 lru 逐出策略。下文主要講述 redis maxmemory 指令,這個指令用於限定記憶體使用量,以及講述了redis 使用到的 lru...