Redis 記憶體淘汰機制

2021-07-22 11:04:20 字數 2421 閱讀 7561

**

摘要redis是一款優秀的、開源的記憶體資料庫,我在閱讀redis原始碼實現的過程中,時時刻刻能感受到redis作者為更好地使用記憶體而費盡各種心思,例如最明顯的是對於同一種資料結構在不同應用場景下提供了基於不同底層編碼的實現(如壓縮列表、跳躍表等)。今天我們暫時放下對redis不同資料結構的**,來一起看看redis提供的另一種機制——記憶體淘汰機制。

探初衷redis記憶體淘汰指的是使用者儲存的一些鍵被可以被redis主動地從例項中刪除,從而產生讀miss的情況,那麼redis為什麼要有這種功能?這就是我們需要**的設計初衷。redis最常見的兩種應用場景為快取和持久儲存,首先要明確的乙個問題是記憶體淘汰策略更適合於那種場景?是持久儲存還是快取?這個問題很顯然的我就不回答了。

假設我們有乙個redis伺服器,伺服器物理記憶體大小為1g的,我們需要存在redis中的資料量很小,這看起來似乎足夠用很長時間了,隨著業務量的增長,我們放在redis裡面的資料越來越多了,資料量大小似乎超過了1g,但是應用還可以正常執行,這是因為作業系統的可見記憶體並不受物理記憶體限制,而是虛擬記憶體,物理記憶體不夠用沒關係,作業系統會從硬碟上劃出一片空間用於構建虛擬記憶體,比如32位的作業系統的可見記憶體大小為2^32,而使用者空間的可見記憶體要小於2^32很多,大概是3g左右。好了,我們慶幸作業系統為我們做了這些,但是我們需要知道這背後的代價是不菲的,不合理的使用記憶體有可能發生頻繁的swap,頻繁swap的代價是慘痛的。所以回過頭來看,作為有追求的程式設計師,我們還是要小心翼翼地使用好每塊記憶體,把使用者**能解決的問題盡量不要拋給作業系統解決。

說到這裡,對於這個「初衷」我們似乎尋到了乙個聽起來蠻有道理的解釋,記憶體的淘汰機制的初衷是為了更好地使用記憶體,用一定的快取miss來換取記憶體的使用效率。

如何用作為redis使用者,我如何使用redis提供的這個特性呢?看看下面配置

# maxmemory

我們可以通過配置redis.conf中的maxmemory這個值來開啟記憶體淘汰功能,至於這個值有什麼意義,我們可以通過了解記憶體淘汰的過程來理解它的意義:

客戶端發起了需要申請更多記憶體的命令(如set)。

redis檢查記憶體使用情況,如果已使用的記憶體大於maxmemory則開始根據使用者配置的不同淘汰策略來淘汰記憶體(key),從而換取一定的記憶體。

如果上面都沒問題,則這個命令執行成功。

maxmemory為0的時候表示我們對redis的記憶體使用沒有限制。

記憶體淘汰只是redis提供的乙個功能,為了更好地實現這個功能,必須為不同的應用場景提供不同的策略,記憶體淘汰策略講的是為實現記憶體淘汰我們具體怎麼做,要解決的問題包括淘汰鍵空間如何選擇?在鍵空間中淘汰鍵如何選擇?

redis提供了下面幾種淘汰策略供使用者選擇,其中預設的策略為noeviction策略:

這裡補充一下主鍵空間和設定了過期時間的鍵空間,舉個例子,假設我們有一批鍵儲存在redis中,則有那麼乙個雜湊表用於儲存這批鍵及其值,如果這批鍵中有一部分設定了過期時間,那麼這批鍵還會被儲存到另外乙個雜湊表中,這個雜湊表中的值對應的是鍵被設定的過期時間。設定了過期時間的鍵空間為主鍵空間的子集。

我們了解了redis大概提供了這麼幾種淘汰策略,那麼如何選擇呢?淘汰策略的選擇可以通過下面的配置指定:

# maxmemory-policy noeviction

但是這個值填什麼呢?為解決這個問題,我們需要了解我們的應用請求對於redis中儲存的資料集的訪問方式以及我們的訴求是什麼。同時redis也支援runtime修改淘汰策略,這使得我們不需要重啟redis例項而實時的調整記憶體淘汰策略。

下面看看幾種策略的適用場景:

另外,volatile-lru策略和volatile-random策略適合我們將乙個redis例項既應用於快取和又應用於持久化儲存的時候,然而我們也可以通過使用兩個redis例項來達到相同的效果,值得一提的是將key設定過期時間實際上會消耗更多的記憶體,因此我們建議使用allkeys-lru策略從而更有效率的使用記憶體。

上面提到的lru(least recently used)策略,實際上redis實現的lru並不是可靠的lru,也就是名義上我們使用lru演算法淘汰鍵,但是實際上被淘汰的鍵並不一定是真正的最久沒用的,這裡涉及到乙個權衡的問題,如果需要在全部鍵空間內搜尋最優解,則必然會增加系統的開銷,redis是單執行緒的,也就是同乙個例項在每乙個時刻只能服務於乙個客戶端,所以耗時的操作一定要謹慎。為了在一定成本內實現相對的lru,早期的redis版本是基於取樣的lru,也就是放棄全部鍵空間內搜尋解改為取樣空間搜尋最優解。自從redis3.0版本之後,redis作者對於基於取樣的lru進行了一些優化,目的是在一定的成本內讓結果更靠近真實的lru。

本文的內容主要還是問題驅動的,為介紹redis記憶體淘汰機制,本文從問題出發,通過解決什麼是redis記憶體淘汰機制?redis記憶體淘汰機制應用場景是什麼?初衷是什麼?我們怎麼開啟這個功能?我們可配哪些淘汰策略?淘汰策略如何選擇?等問題來談redis記憶體淘汰機制,希望本文能給大家帶來一定的收穫和啟發。

redis 記憶體淘汰機制

redis記憶體淘汰指的是使用者儲存的一些鍵被可以被redis主動地從例項中刪除,從而產生讀miss的情況,那麼redis為什麼要有這種功能?這就是我們需要 的設計初衷。redis最常見的兩種應用場景為快取和持久儲存,首先要明確的乙個問題是記憶體淘汰策略更適合於那種場景?是持久儲存還是快取?記憶體的...

redis記憶體淘汰機制

redis記憶體淘汰 指的是使用者儲存的一些鍵被可以被redis 主動地 從例項中刪除,從而產生讀miss的情況,那麼redis為什麼要有這種功能?這就是我們需要 的設計初衷。redis最常見的兩種應用場景為 快取和 持久儲存 首先要明確的乙個問題是記憶體淘汰策略更適合於那種場景?是持久儲存還是快取...

Redis 記憶體淘汰機制

redis記憶體淘汰指的是使用者儲存的一些鍵被可以被redis主動地從例項中刪除,從而產生讀miss的情況,那麼redis為什麼要有這種功能?這就是我們需要 的設計初衷。redis最常見的兩種應用場景為快取和持久儲存,首先要明確的乙個問題是記憶體淘汰策略更適合於那種場景?是持久儲存還是快取?記憶體的...