Rdeis 09 Redis兩種持久化方式的原理

2022-09-12 06:09:12 字數 3486 閱讀 7855

redis為持久化提供了兩種方式:

為了使用持久化的功能,我們需要先知道該如何開啟持久化的功能。

# 時間策略

s**e

9001

s**e 300

10s**e 60

10000

# 檔名稱

dbfilename dump.rdb

# 檔案儲存路徑

# 如果持久化出錯,主程序是否停止寫入

stop-writes-on-bgs**e-error

yes# 是否壓縮

rdbcompression yes

# 匯入時是否檢查

rdbchecksum yes

配置其實非常簡單,這裡說一下持久化的時間策略具體是什麼意思。

下面的類似,那麼為什麼需要配置這麼多條規則呢?因為redis每個時段的讀寫請求肯定不是均衡的,為了平衡效能與資料安全,我們可以自由定製什麼情況下觸發備份。所以這裡就是根據自身redis寫入情況來進行合理配置。

stop-writes-on-bgs**e-error yes這個配置也是非常重要的一項配置,這是當備份程序出錯時,主程序就停止接受新的寫入操作,是為了保護持久化的資料一致性問題。如果自己的業務有完善的監控系統,可以禁止此項配置,否則請開啟。

關於壓縮的配置rdbcompression yes,建議沒有必要開啟,畢竟redis本身就屬於cpu密集型伺服器,再開啟壓縮會帶來更多的cpu消耗,相比硬碟成本,cpu更值錢。

當然如果你想要禁用rdb配置,也是非常容易的,只需要在s**e的最後一行寫上:s**e ""

# 是否開啟aof

yes# 檔名稱

# 同步方式

everysec

# aof重寫期間是否同步

nono

# 重寫觸發配置

auto-aof-rewrite-percentage

100auto-aof-rewrite-min-size

64mb

# 載入aof時如果有錯如何處理

aof-load-truncated

yes# 檔案重寫策略

aof-rewrite-incremental-fsync

yes

還是重點解釋一些關鍵的配置:

一般情況下都採用everysec配置,這樣可以兼顧速度與安全,最多損失1s的資料。

關於原理部分,我們主要來看rdb與aof是如何完成持久化的,他們的過程是如何。

在介紹原理之前先說下redis內部的定時任務機制,定時任務執行的頻率可以在配置檔案中通過hz 10來設定(這個配置表示1s內執行10次,也就是每100ms觸發一次定時任務)。該值最大能夠設定為:500,但是不建議超過:100,因為值越大說明執行頻率越頻繁越高,這會帶來cpu的更多消耗,從而影響主程序讀寫效能。

定時任務使用的是redis自己實現的timeevent,它會定時去呼叫一些命令完成定時任務,這些任務可能會阻塞主程序導致redis效能下降。因此我們在配置redis時,一定要整體考慮一些會觸發定時任務的配置,根據實際情況進行調整。

在redis中rdb持久化的觸發分為兩種:自己手動觸發與redis定時觸發。

針對rdb方式的持久化,手動觸發可以使用:

而自動觸發的場景主要是有以下幾點:

由於s**e基本不會被使用到,我們重點看看bgs**e這個命令是如何完成rdb的持久化的。

這裡注意的是fork操作會阻塞,導致redis讀寫效能下降。我們可以控制單個redis例項的最大記憶體,來盡可能降低redis在fork時的事件消耗。以及上面提到的自動觸發的頻率減少fork次數,或者使用手動觸發,根據自己的機制來完成持久化。

對於增量追加到檔案這一步主要的流程是:命令寫入=》追加到aof_buf =》同步到aof磁碟。那麼這裡為什麼要先寫入buf在同步到磁碟呢?如果實時寫入磁碟會帶來非常高的磁碟io,影響整體效能。

aof重寫是為了減少aof檔案的大小,可以手動或者自動觸發,關於自動觸發的規則請看上面配置部分。fork的操作也是發生在重寫這一步,也是這裡會對主程序產生阻塞。

手動觸發:bgrewriteaof自動觸發就是根據配置規則來觸發,當然自動觸發的整體時間還跟redis的定時任務頻率有關係。

下面來看看重寫的乙個流程圖:

對於上圖有四個關鍵點補充一下:

在重寫期間,由於主程序依然在響應命令,為了保證最終備份的完整性;因此它依然會寫入舊的aof file中,如果重寫失敗,能夠保證資料不丟失。

為了把重寫期間響應的寫入資訊也寫入到新的檔案中,因此也會為子程序保留乙個buf,防止新寫的file丟失資料。

重寫是直接把當前記憶體的資料生成對應命令,並不需要讀取老的aof檔案進行分析、命令合併。

aof檔案直接採用的文字協議,主要是相容性好、追加方便、可讀性高可認為修改修復。

不能是rdb還是aof都是先寫入乙個臨時檔案,然後通過rename完成檔案的替換工作。
資料的備份、持久化做完了,我們如何從這些持久化檔案中恢復資料呢?如果一台伺服器上有既有rdb檔案,又有aof檔案,該載入誰呢?

其實想要從這些檔案中恢復資料,只需要重新啟動redis即可。我們還是通過圖來了解這個流程:

啟動時會先檢查aof檔案是否存在,如果不存在就嘗試載入rdb。那麼為什麼會優先載入aof呢?因為aof儲存的資料更完整,通過上面的分析我們知道aof基本上最多損失1s的資料。

通過上面的分析,我們都知道rdb的快照、aof的重寫都需要fork,這是乙個重量級操作,會對redis造成阻塞。因此為了不影響redis主程序響應,我們需要盡可能降低阻塞。

降低fork的頻率,比如可以手動來觸發rdb生成快照、與aof重寫;

控制redis最大使用記憶體,防止fork耗時過長;

使用更牛逼的硬體;

合理配置linux的記憶體分配策略,避免因為物理記憶體不足導致fork失敗。

如果redis中的資料並不是特別敏感或者可以通過其它方式重寫生成資料,可以關閉持久化,如果丟失資料可以通過其它途徑補回;

自己制定策略定期檢查redis的情況,然後可以手動觸發備份、重寫資料;

單機如果部署多個例項,要防止多個機器同時執行持久化、重寫操作,防止出現記憶體、cpu、io資源競爭,讓持久化變為序列;

可以加入主從機器,利用一台從機器進行備份處理,其它機器正常響應客戶端的命令;

rdb持久化與aof持久化可以同時存在,配合使用。

本文的內容主要是運維上的一些注意點,但我們開發者了解到這些知識,在某些時候有助於我們發現詭異的bug。接下來會介紹redis的主從複製與集群的知識。

redis的兩種持久化

一種是rdb持久化 原理是將reids在記憶體中的資料庫記錄定時dump到磁碟上的rdb持久化 另外一種是aof持久化 原理是將reids的操作日誌以追加的方式寫入檔案 那麼這兩種持久化方式有什麼區別呢,改如何選擇呢?網上看了大多數都是介紹這兩種方式怎麼配置,怎麼使用,就是沒有介紹二者的區別 rdb...

redis的兩種安裝方式

root localhost wget o etc yum.repos.d epel.repo root localhost yum install redis 2 啟動服務,檢視服務狀態 root localhost systemctl start redis root localhost sys...

09 Python兩種建立類的方式

第一種比較普遍的方式 1 class work 2def init self,name 3 self.name name 45 w work well woker 這樣就簡單建立了乙個類,分別列印w的型別和work的型別 1 print type w 2print type work 這就說明typ...