Redis的持久化機制

2021-08-27 20:12:37 字數 2042 閱讀 9326

redis由於支援非常豐富的記憶體資料結構型別,如何把這些複雜的記憶體組織方式持久化到磁碟上是乙個難題,所以redis的持久化方式與傳統資料庫的方式有比較多的差別,redis一共支援四種持久化方式,分別是:

在設計思路上,前兩種是基於全部資料都在記憶體中,即小資料量下提供磁碟落地功能,而後兩種方式則是作者在嘗試儲存資料超過物理記憶體時,即大資料量的資料儲存,截止到本文,後兩種持久化方式仍然是在實驗階段,並且vm方式基本已經被作者放棄,所以實際能在生產環境用的只有前兩種,換句話說redis目前還只能作為小資料量儲存(全部資料能夠載入在記憶體中),海量資料儲存方面並不是redis所擅長的領域。下面分別介紹下這幾種持久化方式:

定時快照方式(snapshot):

該持久化方式實際是在redis內部乙個定時器事件,每隔固定時間去檢查當前資料發生的改變次數與時間是否滿足配置的持久化觸發的條件,如果滿足則通過作業系統fork呼叫來建立出乙個子程序,這個子程序缺省會與父程序共享相同的位址空間,這時就可以通過子程序來遍歷整個記憶體來進行儲存操作,而主程序則仍然可以提供服務,當有寫入時由作業系統按照記憶體頁(page)為單位來進行copy-on-write保證父子程序之間不會互相影響。

該持久化的主要缺點是定時快照只是代表一段時間內的記憶體映像,所以系統重啟會丟失上次快照與重啟之間所有的資料。

基於語句追加方式(aof):

aof方式實際類似mysql的基於語句的binlog方式,即每條會使redis記憶體資料發生改變的命令都會追加到乙個log檔案中,也就是說這個log檔案就是redis的持久化資料。

aof的方式的主要缺點是追加log檔案可能導致體積過大,當系統重啟恢復資料時如果是aof的方式則載入資料會非常慢,幾十g的資料可能需要幾小時才能載入完,當然這個耗時並不是因為磁碟檔案讀取速度慢,而是由於讀取的所有命令都要在記憶體中執行一遍。另外由於每條命令都要寫log,所以使用aof的方式,redis的讀寫效能也會有所下降。

虛擬記憶體方式:

虛擬記憶體方式是redis來進行使用者空間的資料換入換出的乙個策略,此種方式在實現的效果上比較差,主要問題是**複雜,重啟慢,複製慢等等,目前已經被作者放棄。

diskstore方式:

diskstore方式是作者放棄了虛擬記憶體方式後選擇的一種新的實現方式,也就是傳統的b-tree的方式,目前仍在實驗階段,後續是否可用我們可以拭目以待。

有redis線上運維經驗的人會發現redis在物理記憶體使用比較多,但還沒有超過實際物理記憶體總容量時就會發生不穩定甚至崩潰的問題,有人認為是基於快照方式持久化的fork系統呼叫造成記憶體占用加倍而導致的,這種觀點是不準確的,因為fork 呼叫的copy-on-write機制是基於作業系統頁這個單位的,也就是只有有寫入的髒頁會被複製,但是一般你的系統不會在短時間內所有的頁都發生了寫入而導致複製,那麼是什麼原因導致redis崩潰的呢?

答案是redis的持久化使用了buffer io造成的,所謂buffer io是指redis對持久化檔案的寫入和讀取操作都會使用物理記憶體的page cache,而大多數資料庫系統會使用direct io來繞過這層page cache並自行維護乙個資料的cache,而當redis的持久化檔案過大(尤其是快照檔案),並對其進行讀寫時,磁碟檔案中的資料都會被載入到物理記憶體中作為作業系統對該檔案的一層cache,而這層cache的資料與redis記憶體中管理的資料實際是重複儲存的,雖然核心在物理記憶體緊張時會做page cache的剔除工作,但核心很可能認為某塊page cache更重要,而讓你的程序開始swap ,這時你的系統就會開始出現不穩定或者崩潰了。我們的經驗是當你的redis物理記憶體使用超過記憶體總容量的3/5時就會開始比較危險了。

下圖是redis在讀取或者寫入快照檔案dump.rdb後的記憶體資料圖:

根據業務需要選擇合適的資料型別,並為不同的應用場景設定相應的緊湊儲存引數。

當業務場景不需要資料持久化時,關閉所有的持久化方式可以獲得最佳的效能以及最大的記憶體使用量。

如果需要使用持久化,根據是否可以容忍重啟丟失部分資料在快照方式與語句追加方式之間選擇其一,不要使用虛擬記憶體以及diskstore方式。

不要讓你的redis所在機器物理記憶體使用超過實際記憶體總量的3/5。

Redis 持久化機制

持久化資料 就是將記憶體中的資料寫入到硬碟裡面,原因 為了之後重用資料 比如重啟機器 機器故障之後恢復資料 或者是為了防止系統故障而將資料備份到乙個遠端位置 redis通過快照來獲得在某個時間點上記憶體裡面的資料副本。redis建立快照之後,可以對快照進行備份,可以將快照複製到其他伺服器從而建立具有...

Redis的持久化機制

該持久化方式實際是在redis內部乙個定時器事件,每隔固定時間去檢查當前資料發生的改變次數與時間是否滿足配置的持久化觸發的條件,如果滿足則通過作業系統fork呼叫來建立出乙個子程序,這個子程序缺省會與父程序共享相同的位址空間,這時就可以通過子程序來遍歷整個記憶體來進行儲存操作,而主程序則仍然可以提供...

Redis 的持久化機制

redis 的持久化策略有兩種 rdb 快照形式是直接把記憶體中的資料儲存到乙個 dump 的檔案中,定時儲存,儲存策略。aof 把所有的對 redis 的伺服器進行修改的命令都存到乙個檔案裡,命令的集合。redis 預設是快照 rdb 的持久化方式。當 redis 重啟的時候,它會優先使用 aof...