基於訊息佇列和訊息應用狀態處理分布式事務

2021-09-08 11:46:18 字數 2666 閱讀 3740

由於資料量的巨大,大部分web應用都需要部署很多個資料庫例項。這樣,有些使用者操作就可能需要去修改多個資料庫例項中的資料。傳統的解決方法是使用分布式事務保證資料的全域性一致性,經典的方法是使用兩階段提交協議。

長期以來,分布式事務提供的優雅的全域性acid保證麻醉了應用開發者的心靈,很多人都不敢越雷池一步,想像沒有分布式事務的世界會是怎樣。如今就如mysql和postgresql這類面向低端使用者的開源資料庫都支援分布式事務了,開發者更是沉醉其中,不去考慮分布式事務是否給系統帶來了傷害。

事實上,有所得必有所失,分布式事務提供的acid保證是以損害系統的可用性、效能與可伸縮性為代價的。只有在參與分布式事務的各個資料庫例項都能夠正常工作的前提下,分布式事務才能夠順利完成,只要有乙個工作不正常,整個事務就不能完成。這樣,系統的可用性就相當於參加分布式事務的各例項的可用性之積,例項越多,可用性下降越明顯。從效能和可伸縮性角度看,首先是事務的總持續時間通常是各例項操作時間之和,因為乙個事務中的各個操作通常是順序執行的,這樣事務的響應時間就會增加很多;其次是一般web應用的事務都不大,單機操作時間也就幾毫秒甚至不到1毫秒,一但涉及到分布式事務,提交時節點間的網路通訊往返過程也為毫秒級別,對事務響應時間的影響也不可忽視。由於事務持續時間延長,事務對相關資源的鎖定時間也相應增加,從而可能嚴重增加了併發衝突,影響到系統吞吐率和可伸縮性。

正是由於分布式事務有以上問題,ebay在設計上就不採用分布式事務,而是通過其它途徑來解決資料一致性問題。其中使用的最重要的技術就是訊息佇列和訊息應用狀態表。

舉個例子。假設系統中有以下兩個表

user(id, name, amt_sold, amt_bought)

transaction(xid, seller_id, buyer_id, amount)

其中user表記錄使用者交易彙總資訊,transaction表記錄每個交易的詳細資訊。

這樣,在進行一筆交易時,若使用事務,就需要對資料庫進行以下操作:

begin;

insert into transaction values(xid, $seller_id, $buyer_id, $amount);

update user set amt_sold = amt_sold + $amount where id = $seller_id;

update user set amt_bought = amt_bought + $amount where id = $buyer_id;

commit;

即在transaction表中記錄交易資訊,然後更新賣家和買家的狀態。

begin;

insert intotransaction values(xid, $seller_id, $buyer_id, $amount);

put_to_queue"update user("seller", $seller_id, amount);

put_to_queue "updateuser("buyer", $buyer_id, amount);

commit;

for each message in queue

begin;message.id;

if cnt = 0 then

if message.type = "seller"then

update user set amt_sold = amt_sold + message.amount where id =message.user_id;

else

update user set amt_bought =amt_bought + message.amount where id = message.user_id;

end

end

commit;

if

雖然由於沒有分布式事務的強一致性保證,使用上述方案在系統發生故障時,系統將短時間內處於不一致狀態。但基於訊息佇列和訊息應用狀態表,最終可以將系統恢復到一致。使用訊息佇列方案,解除了兩個資料庫例項之間的緊密耦合,其效能和可伸縮性是分布式事務不可比擬的。

當然,使用分布式事務有助於簡化應用開發,使用訊息佇列明顯需要更多的工作量,兩者各有優缺點。個人觀點是,對於時間緊迫或者對效能要求不高的系統,應採用分布式事務加快開發效率,對於時間需求不是很緊,對效能要求很高的系統,應考慮使用訊息佇列方案。對於原使用分布式事務,且系統已趨於穩定,效能要求高的系統,則可以使用訊息佇列方案進行重構來優化效能。

訊息和訊息佇列

在傳統的c 程式當中,我們呼叫 fopen 函式開啟檔案,這個庫函式最終呼叫作業系統 提供的函式 來開啟檔案。而在 windows 中,不僅使用者程式可以呼叫系統的 api函式,反回來,系統也會呼叫使用者程式,這個呼叫是通過訊息來進行的。windows程式設計是一種完全不同於傳統的 dos方式的程式...

MQ訊息佇列應用

很榮幸,原來一直聽說的訊息佇列終於在前段時間用到了自己的專案中。為什麼會用到訊息佇列?毫無疑問,當然是傳輸訊息。這裡訊息一般是一串字串,當然,訊息的含義很多,可以是 hello world 可以是 你吃飯了嗎?可以是一串正式的xml報文。也可以是乙個txt檔案或者xml檔案 在用active mq的...

處理訊息佇列積壓

當消費者出現異常,很容易引起佇列積壓,如果一秒鐘1000個訊息,那麼乙個小時就是幾千萬的訊息積壓,是非常可怕的事情,但是生產線上又有可能會出現 當訊息積壓來不及處理,rabbitmq如果設定了訊息過期時間,那麼就有可能由於積壓無法及時處理而過期,這訊息就被丟失了 解決方法 不建議在生產環境使用資料過...