Redis持久化 RDB和AOF 的區別

2021-10-21 02:38:31 字數 2906 閱讀 2421

關於redis說點什麼,目前都是使用redis作為資料快取,快取的目標主要是那些需要經常訪問的資料,或計算複雜而耗時的資料。快取的效果就是減少了資料庫讀的次數,減少了複雜資料的計算次數,從而提高了伺服器的效能。

2、rdb,簡而言之,就是在不同的時間點,將redis儲存的資料生成快照並儲存到磁碟等介質上;

3、aof,則是換了乙個角度來實現持久化,那就是將redis執行過的所有寫指令記錄下來,在下次redis重新啟動時,只要把這些寫指令從前到後再重複執行一遍,就可以實現資料恢復了。

4、其實rdb和aof兩種方式也可以同時使用,在這種情況下,如果redis重啟的話,則會優先採用aof方式來進行資料恢復,這是因為aof方式的資料恢復完整度更高。

5、如果你沒有資料持久化的需求,也完全可以關閉rdb和aof方式,這樣的話,redis將變成乙個純記憶體資料庫,就像memcache一樣。

二、redis持久化----rdb

1、rdb方式,是將redis某一時刻的資料持久化到磁碟中,是一種快照式的持久化方法。

2、redis在進行資料持久化的過程中,會先將資料寫入到乙個臨時檔案中,待持久化過程都結束了,才會用這個臨時檔案替換上次持久化好的檔案。正是這種特性,讓我們可以隨時來進行備份,因為快照檔案總是完整可用的。

3、對於rdb方式,redis會單獨建立(fork)乙個子程序來進行持久化,而主程序是不會進行任何io操作的,這樣就確保了redis極高的效能。

4、如果需要進行大規模資料的恢復,且對於資料恢復的完整性不是非常敏感,那rdb方式要比aof方式更加的高效。

5、雖然rdb有不少優點,但它的缺點也是不容忽視的。如果你對資料的完整性非常敏感,那麼rdb方式就不太適合你,因為即使你每5分鐘都持久化一次,當redis故障時,仍然會有近5分鐘的資料丟失。所以,redis還提供了另一種持久化方式,那就是aof。

2、如前面介紹的,aof方式是將執行過的寫指令記錄下來,在資料恢復時按照從前到後的順序再將指令都執行一遍,就這麼簡單。

4、預設的aof持久化策略是每秒鐘fsync一次(fsync是指把快取中的寫指令記錄到磁碟中),因為在這種情況下,redis仍然可以保持很好的處理效能,即使redis故障,也只會丟失最近1秒鐘的資料。

5如果在追加日誌時,恰好遇到磁碟空間滿、inode滿或斷電等情況導致日誌寫入不完整,也沒有關係,redis提供了redis-check-aof工具,可以用來進行日誌修復。

6、因為採用了追加方式,如果不做任何處理的話,aof檔案會變得越來越大,為此,redis提供了aof檔案重寫(rewrite)機制,即當aof檔案的大小超過所設定的閾值時,redis就會啟動aof檔案的內容壓縮,只保留可以恢復資料的最小指令集。舉個例子或許更形象,假如我們呼叫了100次incr指令,在aof檔案中就要儲存100條指令,但這明顯是很低效的,完全可以把這100條指令合併成一條set指令,這就是重寫機制的原理。

7、在進行aof重寫時,仍然是採用先寫臨時檔案,全部完成後再替換的流程,所以斷電、磁碟滿等問題都不會影響aof檔案的可用性,這點大家可以放心。

8、aof方式的另乙個好處,我們通過乙個「場景再現」來說明。某同學在操作redis時,不小心執行了flushall,導致redis記憶體中的資料全部被清空了,這是很悲劇的事情。不過這也不是世界末日,只要redis配置了aof持久化方式,且aof檔案還沒有被重寫(rewrite),我們就可以用最快的速度暫停redis並編輯aof檔案,將最後一行的flushall命令刪除,然後重啟redis,就可以恢復redis的所有資料到flushall之前的狀態了。是不是很神奇,這就是aof持久化方式的好處之一。但是如果aof檔案已經被重寫了,那就無法通過這種方法來恢復資料了。

9、雖然優點多多,但aof方式也同樣存在缺陷,比如在同樣資料規模的情況下,aof檔案要比rdb檔案的體積大。而且,aof方式的恢復速度也要慢於rdb方式。

如果你直接執行bgrewriteaof命令,那麼redis會生成乙個全新的aof檔案,其中便包括了可以恢復現有資料的最少的命令集。

10、如果運氣比較差,aof檔案出現了被寫壞的情況,也不必過分擔憂,redis並不會貿然載入這個有問題的aof檔案,而是報錯退出。這時可以通過以下步驟來修復出錯的檔案:

1.備份被寫壞的aof檔案

2.執行redis-check-aof –fix進行修復

3.用diff -u來看下兩個檔案的差異,確認問題點

4.重啟redis,載入修復後的aof檔案

四、redis持久化----aof重寫

1、aof重寫的內部執行原理,我們有必要了解一下。

2、在重寫即將開始之際,redis會建立(fork)乙個「重寫子程序」,這個子程序會首先讀取現有的aof檔案,並將其包含的指令進行分析壓縮並寫入到乙個臨時檔案中。

3、與此同時,主工作程序會將新接收到的寫指令一邊累積到記憶體緩衝區中,一邊繼續寫入到原有的aof檔案中,這樣做是保證原有的aof檔案的可用性,避免在重寫過程**現意外。

4、當「重寫子程序」完成重寫工作後,它會給父程序發乙個訊號,父程序收到訊號後就會將記憶體中快取的寫指令追加到新aof檔案中。

5、當追加結束後,redis就會用新aof檔案來代替舊aof檔案,之後再有新的寫指令,就都會追加到新的aof檔案中了。

五、redis持久化----如何選擇rdb和aof

1、對於我們應該選擇rdb還是aof,官方的建議是兩個同時使用。這樣可以提供更可靠的持久化方案。

2、redis的備份和還原,可以借助第三方的工具redis-dump。

六、redis的兩種持久化方式也有明顯的缺點

1、rdb需要定時持久化,風險是可能會丟兩次持久之間的資料,量可能很大。

2、aof每秒fsync一次指令硬碟,如果硬碟io慢,會阻塞父程序;風險是會丟失1秒多的資料;在rewrite過程中,主程序把指令存到mem-buffer中,最後寫盤時會阻塞主程序。

3、這兩個缺點是個很大的痛點。為了解決這些痛點,github的兩位工程師 bryana knight 和 miguel fernández 日前寫了一篇 文章 ,講述了將持久資料從redis遷出的經驗:

redis持久化(rdb和aof)

rdb redis database 在制定的時間間隔內將記憶體中的資料集快照寫入磁碟 snapshot快照 redis恢復時將快照檔案直接讀到記憶體。rdb儲存的是dump.rdb檔案 在bin 目錄下會看到 redis會單獨建立 fork 乙個子程序來進行持久化,會先將資料寫入到乙個臨時檔案中,...

redis持久化方案 RDB和AOF

redis持久化主要是做災難恢復,資料恢復 redis持久化 rdb,aof 1.rdb持久化機制,對redis中的資料執行週期性的持久化 每隔指定的時間以快照的形式儲存到檔案當中,儲存的是資料檔案 如果我們想要redis僅僅作為純記憶體的快取來用,那麼可以禁止rdb和aof所有的持久化機制 通過r...

Redis 持久化機制(RDB和AOF)

一 rdb也叫snapshotting方式 1 機制 以快照的方式將記憶體中的資料寫入二進位制檔案中,在磁碟中會生成乙個.rdb的檔案。這種方式可以設定每個多長時間進行一次快照,即按照一定的策略週期性的持久化。注意 每次都是將記憶體中的資料完整的寫入磁碟,不是增量的更新。它是非同步的。工作原理簡單介...