主從DB與cache一致性問題

2021-10-24 18:32:18 字數 2180 閱讀 6205

為什麼會讀到髒資料,有這麼幾種情況:

(1)單庫情況下,服務層的併發讀寫,快取與資料庫的操作交叉進行

雖然只有乙個db,在上述詭異異常時序下,也可能髒資料入快取:

1)請求a發起乙個寫操作,第一步淘汰了cache,然後這個請求因為各種原因在服務層卡住了(進行大量的業務邏輯計算,例如計算了1秒鐘),如上圖步驟1

2)請求b發起乙個讀操作,讀cache,cache miss,如上圖步驟2

3)請求b繼續讀db,讀出來乙個髒資料,然後髒資料入cache,如上圖步驟3

4)請求a卡了很久後終於寫資料庫了,寫入了最新的資料,如上圖步驟4

這種情況雖然少見,但理論上是存在的, 後發起的請求b在先發起的請求a中間完成了。

(2)主從同步,讀寫分離的情況下,讀從庫讀到舊資料

在資料庫架構做了一主多從,讀寫分離時,更多的髒資料入快取是下面這種情況:

1)請求a發起乙個寫操作,第一步淘汰了cache,如上圖步驟1

2)請求a寫資料庫了,寫入了最新的資料,如上圖步驟2

3)請求b發起乙個讀操作,讀cache,cache miss,如上圖步驟3

4)請求b繼續讀db,讀的是從庫,此時主從同步還沒有完成,讀出來乙個髒資料,然後髒資料入cache,如上圖步4

5)最後資料庫的主從同步完成了,如上圖步驟5

這種情況請求a和請求b的時序是完全沒有問題的,是主動同步的時延(假設延時1秒鐘)中間有讀請求讀從庫讀到髒資料導致的不一致。

那怎麼來進行優化呢?

有同學說「那能不能先運算元據庫,再淘汰快取」,這個是不行的,在《快取和資料庫先操作誰》的文章中介紹過。

出現不一致的根本原因:

(1)單庫情況下,服務層在進行1s的邏輯計算過程中,可能讀到舊資料入快取

(2)主從庫+讀寫分離情況下,在1s鐘主從同步延時過程中,可能讀到舊資料入快取

既然舊資料就是在那1s的間隙中入快取的,是不是可以在寫請求完成後,再休眠1s,再次淘汰快取,就能將這1s內寫入的髒資料再次淘汰掉呢?

答案是可以的。

寫請求的步驟由2步公升級為3步:

(1)先淘汰快取

(2)再寫資料庫(這兩步和原來一樣)

(3)休眠1秒,再次淘汰快取

這樣的話,1秒內有髒資料如快取,也會被再次淘汰掉,但帶來的問題是:

(1)所有的寫請求都阻塞了1秒,大大降低了寫請求的吞吐量,增長了處理時間,業務上是接受不了的

再次分析,其實第二次淘汰快取是「為了保證快取一致」而做的操作,而不是「業務要求」,所以其實無需等待,用乙個非同步的timer,或者利用訊息匯流排非同步的來做這個事情即可:

寫請求由2步公升級為2.5步:

(1)先淘汰快取

(2)再寫資料庫(這兩步和原來一樣)

(2.5)不再休眠1s,而是往訊息匯流排esb傳送乙個訊息,傳送完成之後馬上就能返回

這樣的話,寫請求的處理時間幾乎沒有增加,這個方法淘汰了快取兩次,因此被稱為「快取雙淘汰」法。這個方法付出的代價是,快取會增加1次cache miss(代價幾乎可以忽略)。

而在下游,有乙個非同步淘汰快取的消費者,在接收到訊息之後,asy-expire在1s之後淘汰快取。這樣,即使1s內有髒資料入快取,也有機會再次被淘汰掉。

上述方案有乙個缺點,需要業務線的寫操作增加乙個步驟,有沒有方案對業務線的**沒有任何入侵呢,是有的,這個方案在《詳細聊聊冗餘表資料一致性問題》中也提到過,通過分析線下的binlog來非同步淘汰快取:

業務線的**就不需要動了,新增乙個線下的讀binlog的非同步淘汰模組,讀取到binlog中的資料,非同步的淘汰快取。

提問:為什麼上文總是說1s,這個1s是怎麼來的?

回答:1s只是乙個舉例,需要根據業務的資料量與併發量,觀察主從同步的時延來設定這個值。例如主從同步的時延為200ms,這個非同步淘汰cache設定為258ms就是ok的。

在「異常時序」或者「讀從庫」導致髒資料入快取時,可以用二次非同步淘汰的「快取雙淘汰」法來解決快取與資料庫中資料不一致的問題,具體實施至少有三種方案:

(1)timer非同步淘汰(本文沒有細講,本質就是起個執行緒專門非同步二次淘汰快取)

(2)匯流排非同步淘汰

(3)讀binlog非同步淘汰

記憶體與cache一致性問題

很不錯的一篇文章,mark一下 使用xilinx sdk對zynq的pcie,srio等高速介面進行除錯的過程中,經常會涉及到dma對ddr資料的讀寫,此時就會引入會引入cache一致性問題。zynq的ps在執行過程中,通過ddr控制器對ddr儲存器進行訪問,為了加快訪問速度,常常將一些資料快取在c...

Cache寫策略(Cache一致性問題與騷操作)

資訊會被同時寫到cache的塊和主存中。這樣做雖然比較慢,但缺少代價小,不需要把整個塊都寫回主存。也不會發生一致性問題。對於寫直達,多出來 10向主存寫入的儲存指令使得其比其單純向cache寫入的速度慢上將近10倍。這種速度不一致的問題,不管是在硬體結構還是軟體,有著一條 不管怎麼樣,先試試這樣行不...

DMA和cache一致性問題

cache原理 cpu快取 cache memory 是位於cpu與記憶體之間的臨時儲存器,它的容量比記憶體小的多但是交換速度卻比記憶體要快得多。快取的出現主要是為了解決cpu運算速度與記憶體 讀寫速度不匹配的矛盾,因為cpu運算速度要比記憶體讀寫速度快很多,這樣會使cpu花費很長時間等待資料到來或...