MySQL 到Oracle 實時資料同步

2022-09-20 08:51:12 字數 1957 閱讀 6848

目錄

摘要:很多 dba 同學經常會遇到要從乙個資料庫實時同步到另乙個資料庫的問題,同構資料還相對容易,遇上異構資料、表多、資料量大等情況就難以同步。本文親測了一種方式,可以非常方便地完成 mysql 資料實時同步到oracle,跟大家分享一下,希望對你有幫助。

本次 mysql 資料實時同步到 oracle大概只花了幾分鐘就完成。使用的工具是tapdata cloud ,這個工具是永久免費的。

mysql 到oracle 實時資料同步實操分享

1.點選 tapdata cloud 操作後台左側選單欄的【連線管理】,然後點選右側區域【連線列表】右上角的【建立連線】按鈕,開啟連線型別選擇頁面,然後選擇mysql

2.在開啟的連線資訊配置頁面依次輸入需要的配置資訊

【連 接 名 稱】:設定連線的名稱,多個連線的名稱不能重複

【資料庫位址】:資料庫 ip / host

【端 口】:資料庫埠

【資料庫名稱】:tapdata 資料庫連線是以乙個 db 為乙個資料來源。這裡的 db 是指乙個資料庫例項中的 database,而不是乙個 mysql 例項。

【賬 號】:可以訪問資料庫的賬號

【密 碼】:資料庫賬號對應的密碼

【時 間 時 區】:預設使用該資料庫的時區;若指定時區,則使用指定後的時區設定

3.測試連線,提示測試通過

4.測試通過後儲存連線即可。

1.同第一步操作,點選左側選單欄的【連線管理】,然後點選右側區域【連線列表】右程式設計客棧上角的【建立連線】按鈕,開啟連線型別選擇頁面,然後選擇 oracle

2.在開啟的連線資訊配置頁面依次輸入需要的配置資訊,配置完成後測試連線儲存即可。

第三步:選擇同步模式-全量/增量/全+增

進入tapdata cloud操作後台任務管理頁面,點選新增任務按鈕進入任務設定流程

根據剛才建好的連線,選定源端與目標端。

根據資料需求,選擇需要同步的庫、表,如果你對錶名有修改需要,可以通過頁面中的表名批量修改功能對目標端的表名進行批量設定.www.cppcns.com

在以上選項設定完畢後,下一步選擇同步型別,平台提供全量同步、增量同步、全量+增量同步,設定寫入模式和讀取數量。

如果選擇的是全量+增量同步,在全量任務執行完畢後,tapdata agent會自動進入增量同步狀態。在該狀態中,tapdata agent 會持續監聽源端的資料變化(包括:寫入、更新、刪除),並實時的將這些資料變化寫入目標端。

點選任務名稱可以開啟任務詳情頁面,可以檢視任務詳細資訊。

點選任務監控可以開啟任務執行詳情頁面,可以檢視任務進度/里程碑等的具體資訊。

一般同步完成後,我都習慣性進行一下資料校驗,防止踩坑。

tapdata cloud 有三種校驗模式,我常用最快的快速count校驗 ,只www.cppcns.com需要選擇到要校驗的表,不用設定其他複雜的引數和條件,簡單方便。

如果覺得不夠用,也可以選擇表全字段值校驗 ,這個除了要選擇待校驗表外,還需要針對每乙個表設定索引字段。

在進行表全字段值校驗時,還支援進行高階校驗。通過高階校驗可以新增js校驗邏輯,可以對源和目標的資料進行校驗。

還有乙個校驗方式關聯字段值校驗 ,建立關聯字段值校驗時,除了要選擇待校驗表外,還需要針對每乙個表設定索引字段。

程式設計客棧其他資料庫資料實時同步到 oracle、mysql、pg、sql server、mongodb、es 、達夢、kafka、gp、mq、clickhouse、hazelcast cloud、adb mysql、adb postgresql、kundb、tidb、dummy db 的方式也都是先配置源和目標的連線,然後新建任務選擇同步程式設計客棧模式:全量/增量/全量+增量,因為步驟相同,其他就不再貼圖說明了。建立連線的時候,有沒有發現:db2、sybase、gbase 幾個資料庫現在是灰色鎖定狀態,應該是在開發中了,可能後續也會支援這些資料庫的同步功能。tapdata cloud 是承諾永久免費使用的,不過要求更高、有預算的朋友也可以使用企業版,具體可訪問tapdata 官網:tapdata.net ,還可以申請試用。

實時數倉1

介紹 丟擲問題有脫機數倉了,做實時數倉,是否能兼顧到以前的指標體系,是不是可以直接替代?類似於畫像體系是否可以在此基礎上進行構建?實時數倉是否可以是實時平台的基礎?架構有沒有明確的定義?框架變化 儲存框架 框架優勢 劣勢mysql 事務查詢 儲存的效能瓶頸 elasticsearch 吞吐量大,快速...

實時資料整合

企業應用整合 面向服務的體系結構 soa 目前應該是乙個很受歡迎的名詞,中介軟體技術人員幾乎到了言必稱soa的程度,資料整合當然也不例外,在oracle openworld2008大會上,就推出了一堆資料整合的專場演講,其中和soa結合最緊密的就是實時資料整合 real time data inte...

實時採集mysql mysql實時資料採集

0 集群環境介紹 10.20.201.51 namenode resourcemanager hmaster spark 10.20.201.52 namenode resourcemanager hmaster spark 10.20.201.53 datanode nodemanager hre...