資料同步方案思考

2021-08-25 16:10:02 字數 642 閱讀 5693

yahoo的pnuts的資料同步:

基於行的mastership;通過ymb(yahoo message broker)去以非同步方式同步那些replicas資料。首先,應用更新請求到達router,router根據key對映到某乙個storeunit,storeunit去向ymb傳送資料更新訊息,ymb做到安全儲存資料(可能是互備訊息),然後響應storeunit;這時候寫入資料,然後向router返回響應,然後向應用傳送響應。同步時機有ymb控制,估計最終一致時間差不會很大。

這裡比較有特色的是利用了ymb代替了undo,redo log去做資料的恢復和同步。,

amazon的dynamo的資料同步:

基於nwr模型去完成資料同步。n指系統的資料備份數目,w指寫的數目,r指讀的資料份數。要求w+r>n,即寫的分數要大於系統的備份份數-讀的份數。也就是每一次讀至少都會讀到乙個更新版本。這個缺點在於併發寫同一資料多時,版本衝突問題,dynamo通過vector clock去解決(大致可以採用返回版本有app自己設定解決,或者簡單的最後修改時間勝出)。

其他的資料同步方案有:

master/slave結構中的,寫master,然後通過log去同步slaves的資料。

master/master,寫乙個同步另乙個。

同時全寫(也就是同步寫方案)。

資料同步方案

作為業務系統的開發設計人員,資料及資料同步是非常重要的工作之一。在日常的軟體開發過程中,經常會碰到推送和拉取等業務。那麼一開始如何選用推送或拉取這兩個方案呢?這是由實際業務決定 雙方系統的技術實現 雙方系統的架構和效能,看日後是否此業務會經常修改等多方面決定的。下面本文就從實際的兩個業務情況來討論。...

資料同步方案

三 軟體選擇 同步分為 實時同步和離線同步 實時同步,一般是通過監控源資料變更操作,通過在目標端實時重放操作,從而達到實時同步的目的 離線同步,相當於某個時候對源資料做乙個快照。mysql自帶功能 一般針對的是整個資料庫 參考 主主同步 同步型別 實時同步 簡介 kafka是訊息中介軟體的一種 開發...

es同步mysql方案 ES資料同步方案

當業務量上公升後,由於mysql對全文檢索或模糊查詢支援的能力不強,在系統中查詢的地方,往往會出現慢sql等,拖累系統其他模組,造成效能低下。隨著es使用普及率的公升高,es是mysql的乙個有效補充。我們可以將資料傳送到搜尋引擎 如es 上,由搜尋引擎來提供專業的服務。接下來,就結合工作中實際用到...