資料同步系統

2021-08-20 14:17:54 字數 1172 閱讀 6044

l  資料節點

乙個資料庫例項稱為乙個資料節點,簡稱節點。資料庫不限於關聯式資料庫。

資料同步是在資料節點之間進行。

同步是節點表之間的資料的提取,轉換,寫入過程。

資料在節點之間的同步,不要求強一致性,只需要保證最終一致性。

資料節點標識,命名,儲存:對每個資料節點,全域性唯一dsid編碼和唯一的uname,所有資料節點的資訊儲存在平台t_sys_db表中。

dsid僅內部使用,配置等均採用uname.如主站11的uname為site11。

資料庫分類:

資料庫分類是用於區分不同的資料庫模式。相同型別的資料庫例項,資料庫模式(結構)相同,如多個主站資料庫。

用分類標記(tag)標識。

l  同步方案

同步方案定義2種資料庫之間同步操作的具體內容,即對同步目標在源的事件**儲存的事件佇列記錄的處理方式。

同步任務命名:[源資料庫tag]2[目標資料庫tag]

例如,site2dc任務,表示從主站到平台進行同步。

l  同步任務

同步任務在具體2個節點執行的同步方案,儲存在平台t_sys_dstask表中。

l  同步程式

同步程式是執行同步任務例項的後台程序,乙個同步程式可以配置處理指定同步任務例項。

可以部署多個同步程式。把多個同步任務例項分配到不同的程序上。

乙個同步任務例項只能由乙個同步程式處理。(乙個事件只能有乙個處理者)

實現區域網環境內各個關聯式資料庫之間的資料同步。

特性有:

l  基於事件:應用改變資料時以事件對外通知,同步系統捕獲事件並處理

l  基於物件:事件是關於乙個或多個物件的,保證資料的完整性。最常見的情形是一次同步乙個物件,如對於訂單,一次同步一張訂單,訂單資訊包括主表和明細表。

l  支援異構資料庫:如從sql server同步到postgresql資料庫

l  自動執行

l 事件產生後由各目標資料來源的**捕獲,再由對應的事件引擎處理

l 結構和配置簡化:統一配置

資料同步服務的邏輯結構如下圖所示:

系統間的資料同步

不同系統之間往往需要進行資料同步,保持資料的一致性。比如每天需要從 hr主資料中同步人員資料到其他的業務系統系統 對於這種不同資料庫之間的資料同步,無非就是要解決遠端資料變化的三種形式 insert update delete。1 當遠端資料 insert 的時候,新增資料插入為本地資料。2 當遠端...

源同步和系統同步

一 axim lite模組作用 將加速器使用者側自定義介面轉換為標準的axi協議介面,完成加速器側多個通道到axi通道的轉換。寫操作處理流程 axim查詢加速器側的寫命令fifo是否為空,如果非空且axim內部有儲存空間,向加速器發出wcmd read,加速器在wcmd dly cyc個週期後返回w...

mysql同步資料 MySQL同步資料

mysql dump工具用於匯出現有資料,匯出結果為sql檔案 目前dump工具支援整庫dump以及單錶dump。下面為單錶dump操作過程 1 選擇匯出目標目錄 確保該目錄有足夠的儲存空間。mkdir opt bas backup 2 使用mysqldump命令匯出表資料 mysqldump u ...