Oracle GoldenGate 概念和機制

2021-12-30 13:21:30 字數 1675 閱讀 4346

golden gate(簡稱ogg)提供異構環境下交易資料的實時捕捉、變換、投遞。

ogg支援的異構環境有:

ogg的特性:

對生產系統影響小:實時讀取交易日誌,以低資源占用實現大交易量資料實時複製

以交易為單位複製,保證交易一致性:只同步已提交的資料

高效能智慧型的交易重組和操作合併

使用資料庫本地介面訪問

並行處理體系

靈活的拓撲結構:支援一對

一、一對多、多對

一、多對多和雙向複製等

支援資料過濾和轉換

可以自定義基於表和行的過濾規則.

可以對實時資料執行靈活影射和變換.

提供資料壓縮和加密:降低傳輸所需頻寬,提高傳輸安全性.

ogg的工作原理:

ogg的程序:

manager程序是goldengate的控制程序,執行在源端和目標端上。它主要作用有以下幾個方面:啟動、監控、重啟goldengate的其他程序,報告錯誤及事件,分配資料儲存空間,發布閥值報告等。在目標端和源端有且只有乙個manager程序extract執行在資料庫源端,負責從源端資料表或者日誌中捕獲資料。extract的作用可以按照階段來劃分為:

初始時間裝載階段:在初始資料裝載階段,extract程序直接從源端的資料表中抽取資料

同步變化捕獲階段:初始資料同步完成以後,extract程序負責捕獲源端資料的變化(dml和ddl)

data pump程序執行在資料庫源端,其作用是將源端產生的本地trail檔案,把trail以資料塊的形式通過tcp/ip 協議傳送到目標端,這通常也是推薦的方式。pump程序本質是extract程序的一種特殊形式,如果不使用trail檔案,那麼extract程序在抽取完資料以後,直接投遞到目標端,生成遠端trail檔案。

collector程序與data pump程序對應 的叫server collector程序,這個程序不需要引起我的關注,因為在實際操作過程中,無需我們對其進行任何配置,所以對我們來說它是透明的。它執行在目標端,其 任務就是把extract/pump投遞過來的資料重新組裝成遠端ttrail檔案。replicat程序,通常我們也把它叫做應用程序。執行在目標端,是資料傳遞的最後一站,負責讀取目標端trail檔案中的內容,並將其解析為dml或 ddl語句,然後應用到目標資料庫中。

關於ogg的trail檔案:

為了更有效、更安全的把資料庫事務資訊從源端投遞到目標端。goldengate引進trail檔案的概念。前面提到extract抽取完資料以後 goldengate會將抽取的事務資訊轉化為一種goldengate專有格式的檔案。然後pump負責把源端的trail檔案投遞到目標端,所以源、目標兩端都會存在這種檔案。

trail檔案存在的目的旨在防止單點故障,將事務資訊持久化,並且使用checkpoint機制來記錄其讀寫位置,如果故障發生,則資料可以根據checkpoint記錄的位置來重傳 。

前置機概念

政務系統與外網是物理隔離的,因此其間就需要乙個資訊交換系統,這個就是前置機。前置機一般來說是乙個物理系統,它主要起到乙個閘道器的作用,以實現內外網的資訊交換。什麼是前置機 1 這個概念一般在銀行 券商 電信運營商那裡用的比較多,這些地方都有很多後台核心處理系統,對外提供各種各種的介面服務。2 如果我...

處理機排程的概念和層次

處理機排程 1 基本概念 2 三個層次 高階排程 作業排程 中級排程 記憶體排程 低階排程 程序排程 3 三層排程的聯絡 對比 4 補充知識 程序的 掛起態 七狀態模型 當有一堆任務要處理,但由於資源有限,這些事情沒法同時處理。這就需要確定某種規則來決定處理這些任務的順序,這就是 排程 研究的問題。...

微控制器的週期概念

一 時鐘週期 1.時鐘週期也稱為振盪週期,定義為時鐘脈衝的倒數 可以這樣來理解,時鐘週期就是微控制器外接晶振的倒數,例如12m的晶振,它的時間週期就是1 12 us 是計算機中最基本的 最小的時間單位。2.在乙個時鐘週期內,cpu僅完成乙個最基本的動作。對於某種微控制器,若採用了1mhz的時鐘頻率,...