深度解密阿里巴巴技術利器 資料訂閱

2021-09-23 20:10:55 字數 1654 閱讀 3824

資料傳輸dts提供資料訂閱功能,資料訂閱可以實時獲取並分發rds增量日誌。通過資料訂閱提供的sdk 您可以從資料訂閱通道中實時獲取並消費rds增量日誌。通過資料訂閱功能,您可以實現業務訊息通知、oltp->olap資料實時同步、定製化etl的資料實時同步、構建本地災備等多種應用場景。資料訂閱讓您的實時資料流動起來,最大程度發揮資料資產的潛在價值。

為了幫助您更好得理解這個功能,本小節詳細介紹資料訂閱的基礎技術原理、使用方式及典型應用場景。

要訂閱並消費某乙個rds例項的增量資料,需要分兩個步驟建立整個流程:

(1) 建立乙個訂閱通道,開始拉取rds的增量資料

首先需要到資料傳輸控制台建立乙個訂閱通道,這個訂閱通道的作用,主要是從rds拉取增量日誌,並解析封裝成資料傳輸自己的訊息格式,儲存在資料傳輸伺服器上,供使用者訂閱消費。

配置訂閱通道的具體流程詳見使用手冊資料傳輸使用手冊

(2) 啟動 sdk,訂閱並消費增量資料

sdk的具體定義及使用詳見資料傳輸使用手冊

本小節介紹資料訂閱功能如何實現rds增量資料的實時分發。資料訂閱是通過拉取解析並分發rds例項的增量日誌來實現增量資料實時分發的能力,這種實現機制對rds例項的效能毫無影響,所以您可以放心使用。

這裡面sdk會通過http協議,向訂閱通道請求增量資料。使用者需要定義notify函式,當sdk收到增量資料時,會通知notify函式開始進行資料消費。通過通知消費的機制,可實現rds增量資料實時消費

上面的場景需要在兩個業務之間實現實時的訊息通知消費機制,這種應用場景可以通過資料實時訂閱功能實現。通過資料訂閱功能,可以在不影響業務a (例如買家訂單、新聞錄入系統)的情況下,實時觸發業務 b(例如賣家庫存、新聞檢索系統)的變更邏輯。

資料分析在提高企業洞察力和使用者體驗方面發揮著舉足輕重的作用,且實時資料分析能夠讓企業更快速、更靈活得調整策略,適應快速變化的市場方向及消費者體驗。為了在不影響線上業務的情況下實現實時資料分析,需要將業務資料實時同步到分析系統中,由此可見,實時獲取業務資料必不可少。資料傳輸提供的資料訂閱功能,可以在不影響線上業務的情況下,幫助您獲取業務的實時增量資料,通過sdk可將其同步至分析系統中進行實時資料分析。

資料傳輸提供了資料來源之間的資料實時同步功能,但目前實時同步功能不能支援在同步過程中進行etl處理,所以如果您的業務在傳輸過程中,需要進行資料轉換(例如資料過濾,字段增減,物件對映等),那麼可以通過資料訂閱功能,實現定製化資料實時同步。

例如上圖所示,使用者需要將源例項的table1,同步到目標例項的table1_1,且只需要col1、col2兩個列,需要過濾掉col1=data4的記錄。對於這種包含etl的資料實時同步場景,可以使用資料訂閱功能快速滿足。

資料作為企業的重要資產,其完整安全性顯得尤為重要。今天,阿里雲上的很多企業使用者為提高資料安全性,都會希望在本地idc構建資料實時災備,這樣即使阿里雲發生任何意外,也不會出現業務資料丟失。 利用資料傳輸提供的資料實時訂閱功能,可以幫助您在本地idc快速構建阿里雲的資料災備中心,提高業務資料安全性。

資料傳輸提供實時、高可用、高可靠的rds增量資料資料實時分發能力。通過這個功能您可以在不影響rds例項效能的情況下,訂閱並消費rds實時增量資料,實現實時訊息通知、oltp->olap資料實時同步,含etl的資料實時同步及本地災備等多種典型應用場景。

資料訂閱只是資料傳輸提供的一種傳輸方式,除資料訂閱之外,資料傳輸還提供了資料實時同步,不停服遷移等多種傳輸能力,如需了解資料傳輸更多詳情,請猛擊資料傳輸

阿里巴巴相關技術

馮大輝關於阿里系技術積累文章引發熱讚 阿里巴巴訊息系統架構與變遷 潘磊談阿里巴巴國際站發展歷程 阿里巴巴跨境 的優化與挑戰 和天貓相關技術 王海亞 交易系統演進之路 馮森林 手機 中的那些web技術 阿里搜尋離線技術團隊負責人談hadoop 岑文初談移動端開放外掛程式平台的技術難點 玉伯引發web前...

阿里巴巴大資料之路

資料治理 對這些資料進行有序 有結構地分類組織和儲存,目前企業資料現狀 集團資料儲存達到eb 1eb 1024pb 2 60位元組 級別,部分單張表每天的資料記錄數高達幾千億條 資料工程師工作 資料工程師每天要面對百萬級規模的離線資料處理工作。資料模型 資料研發 資料質量和運維保障工作。大資料系統體...

阿里巴巴資料庫

開源資料庫 alisql alisql 是基於 mysql 官方版本的乙個分支,由阿里雲資料庫團隊維護,目前也應用於阿里巴巴集團業務以及阿里雲資料庫服務。該版本在社群版的基礎上做了大量的效能與功能的優化改進。尤其適合電商 雲計算以及金融等行業環境。分布式資料庫 oceanbase oceanbase...