轉 Redis AOF 持久化詳解

2021-10-18 01:35:48 字數 2946 閱讀 1238

**: 

redis 是一種記憶體資料庫,將資料儲存在記憶體中,讀寫效率要比傳統的將資料儲存在磁碟上的資料庫要快很多。但是一旦程序退出,redis 的資料就會丟失。

為了解決這個問題,redis 提供了 rdb 和 aof 兩種持久化方案,將記憶體中的資料儲存到磁碟中,避免資料丟失。rdb的介紹在這篇文章中《redis rdb 持久化詳解》,今天我們來看一下 aof 相關的原理。

antirez 在《redis 持久化解密》一文中講述了 rdb 和 aof 各自的優缺點:

下面,我們就來了解一下 aof 是如何做到實時持久化的。

命令追加

當 aof 持久化功能處於開啟狀態時,redis 在執行完乙個寫命令之後,會以協議格式(也就是resp,即 redis 客戶端和伺服器互動的通訊協議 )將被執行的寫命令追加到 redis 服務端維護的 aof 緩衝區末尾。

比如說 set mykey myvalue 這條命令就以如下格式記錄到 aof 緩衝中。

"*3\r\n$3\r\nset\r\n$5\r\nmykey\r\n$7\r\nmyvalue\r\n"

複製**

redis 協議格式本文不再贅述,aof之所以直接採用文字協議格式,是因為所有寫入命令都要進行追加操作,直接採用協議格式,避免了二次處理開銷。

檔案寫入和同步

everysec:redis 在每個事件迴圈都要將 aof 緩衝區中的所有內容寫入到 aof 檔案中,並且每隔一秒就要在子執行緒中對 aof 檔案進行一次同步。從效率上看,該模式足夠快。當發生故障停機時,只會丟失一秒鐘的命令資料。

no:redis 在每乙個事件迴圈都要將 aof 緩衝區中的所有內容寫入到 aof 檔案。而 aof 檔案的同步由作業系統控制。這種模式下速度最快,但是同步的時間間隔較長,出現故障時可能會丟失較多資料。

linux 系統下write操作會觸發延遲寫( delayed write )機制。linux 在核心提供頁快取區用來提供硬碟 io 效能。write操作在寫入系統緩衝區之後直接返回。同步硬碟操作依賴於系統排程機制,例如:緩衝區頁空間寫滿或者達到特定時間週期。同步檔案之前,如果此時系統故障宕機,緩衝區內資料將丟失。

fsync針對單個檔案操作,對其進行強制硬碟同步,fsync將阻塞直到寫入磁碟完成後返回,保證了資料持久化。

有關 linux 的i/o和各個系統呼叫的作用如下圖所示。具體內容可以檢視《聊聊 linux i/o》一文。

aof 檔案裡邊包含了重建 redis 資料所需的所有寫命令,所以 redis 只要讀入並重新執行一遍 aof 檔案裡邊儲存的寫命令,就可以還原 redis 關閉之前的狀態。

redis 讀取 aof 檔案並且還原資料庫狀態的詳細步驟如下:

當完成以上步驟之後,aof 檔案所儲存的資料庫狀態就會被完整還原出來。

因為 aof 持久化是通過儲存被執行的寫命令來記錄 redis 狀態的,所以隨著 redis 長時間執行,aof 檔案中的內容會越來越多,檔案的體積也會越來越大,如果不加以控制的話,體積過大的 aof 檔案很可能對 redis 甚至宿主計算機造成影響。

為了解決 aof 檔案體積膨脹的問題,redis 提供了 aof 檔案重寫( rewrite) 功能。通過該功能,redis 可以建立乙個新的 aof 檔案來替代現有的 aof 檔案。新舊兩個 aof 檔案所儲存的 redis 狀態相同,但是新的 aof 檔案不會包含任何浪費空間的榮譽命令,所以新 aof 檔案的體積通常比舊 aof 檔案的體積要小得很多。

如上圖所示,重寫前要記錄名為list的鍵的狀態,aof 檔案要儲存五條命令,而重寫後,則只需要儲存一條命令。

aof 檔案重寫並不需要對現有的 aof 檔案進行任何讀取、分析或者寫入操作,而是通過讀取伺服器當前的資料庫狀態來實現的。首先從資料庫中讀取鍵現在的值,然後用一條命令去記錄鍵值對,代替之前記錄這個鍵值對的多條命令,這就是 aof 重寫功能的實現原理。

在實際過程中,為了避免在執行命令時造成客戶端輸入緩衝區溢位,aof 重寫在處理列表、雜湊表、集合和有序集合這四種可能會帶有多個元素的鍵時,會先檢查鍵所包含的元素數量,如果數量超過 redis_aof_rewrite_items_per_cmd ( 一般為64 )常量,則使用多條命令記錄該鍵的值,而不是一條命令。

rewrite的觸發機制主要有一下三個:

aof 重寫函式會進行大量的寫入操作,呼叫該函式的執行緒將被長時間阻塞,所以 redis 在子程序中執行 aof 重寫操作。

但是,在子程序進行 aof 重啟期間,redis接收客戶端命令,會對現有資料庫狀態進行修改,從而導致資料當前狀態和 重寫後的 aof 檔案所儲存的資料庫狀態不一致。

為此,redis 設定了乙個 aof 重寫緩衝區,這個緩衝區在伺服器建立子程序之後開始使用,當 redis 執行完乙個寫命令之後,它會同時將這個寫命令傳送給 aof 緩衝區和 aof 重寫緩衝區。

當子程序完成 aof 重寫工作之後,它會向父程序傳送乙個訊號,父程序在接收到該訊號之後,會呼叫乙個訊號處理函式,並執行以下工作:

在整個 aof 後台重寫過程中,只有訊號處理函式執行時會對 redis 主程序造成阻塞,在其他時候,aof 後台重寫都不會阻塞主程序。

Redis AOF 持久化方式

3 指定更新日誌條件 解說 4 配置重寫觸發機制 解說 當aof檔案大小是上次rewrite後大小的一倍且檔案大於64m時觸發。一般都設定為3g,64m太小了。隨著命令不斷寫入aof,檔案會越來越大,為了解決這個問題,redis引入了aof重寫機制壓縮檔案體積。aof檔案重 寫是將redis程序內的...

Redis AOF持久化的實現

當 aof 持久化功能處於開啟狀態時,伺服器在執行完乙個寫命令之後,會以協議格式將被執行的寫命令追加到伺服器狀態的aof buf緩衝區的末尾 struct redisserver 舉個例子,如果客戶端向伺服器傳送以下命令 redis set key value ok那麼伺服器在執行這個 set 命令...

成為部落格專家 Redis AOF持久化設定

aof持久化,預設是關閉的,預設是開啟rdb持久化 開啟aof持久化機制之後,redis每次接收到一條寫命令,就會寫入日誌檔案中,當然是先寫入os cache的,然後每隔一定時間再fsync一下 而且即使aof和rdb都開啟了,redis重啟的時候,也是優先通過aof進行資料恢復的,因為aof資料比...