大資料 阿里雲資料整合平台使用教程

2021-09-23 22:12:56 字數 962 閱讀 4393

資料整合(data integration)是阿里集團對外提供的可跨異構資料儲存系統的、可靠、安全、低成本、可彈性擴充套件的資料同步平台,為20+種資料來源提供不同網路環境下的離線(全量/增量)資料進出通道,是阿里集團對外提供的穩定高效、彈性伸縮的資料同步平台。致力於提供複雜網路環境下、豐富的異構資料來源之間資料高速穩定的資料移動及同步能力。

離線(批量)資料同步簡介

離線(批量)的資料通道主要通過定義資料**和去向的資料來源和資料集,提供一套抽象化的資料抽取外掛程式(稱之為 reader)、資料寫入外掛程式(稱之為 writer),並基於此框架設計一套簡化版的中間資料傳輸格式,從而達到任意結構化、半結構化資料來源之間資料傳輸的目的。

支援資料來源型別

資料整合提供豐富的資料來源支援,如下所示:

更多詳情請參見 支援資料來源型別。

注意:由於每個資料來源的配置資訊差距較大,需要根據使用情況詳細查詢引數配置資訊。所以在資料來源配置、作業配置頁面提供了詳細描述,請您根據自身情況進行查詢使用。

同步開發說明

同步開發提供兩種開發模式:嚮導模式和指令碼模式。

指令碼模式:您可以通過直接編寫資料同步的 json 指令碼來完成資料同步開發,適合高階使用者,學習成本較高。指令碼模式可以提供更豐富靈活的能力,做精細化的配置管理。

注意:

網路型別分為:經典網路、專有網路(vpc)、本地 idc 網路(規劃中)。

補充說明:

約束與限制

阿里雲大學官網(阿里雲大學 - 官方**,雲生態下的創新人才工場)

阿里雲資料整合平台使用教程

阿里雲大學課程 阿里雲資料整合平台使用教程 課程介紹 資料整合 data integration 是阿里集團對外提供的可跨異構資料儲存系統的 可靠 安全 低成本 可彈性擴充套件的資料同步平台,為20 種資料來源提供不同網路環境下的離線 全量 增量 資料進出通道。產品詳情 課時列表 課時1 資料整合 ...

阿里雲資料整合平台使用教程

資料整合 data integration 是阿里集團對外提供的可跨異構資料儲存系統的 可靠 安全 低成本 可彈性擴充套件的資料同步平台,為20 種資料來源提供不同網路環境下的離線 全量 增量 資料進出通道,是阿里集團對外提供的穩定高效 彈性伸縮的資料同步平台。致力於提供複雜網路環境下 豐富的異構資...

阿里雲資料整合平台使用教程

資料整合 data integration 是阿里集團對外提供的可跨異構資料儲存系統的 可靠 安全 低成本 可彈性擴充套件的資料同步平台,為20 種資料來源提供不同網路環境下的離線 全量 增量 資料進出通道,是阿里集團對外提供的穩定高效 彈性伸縮的資料同步平台。致力於提供複雜網路環境下 豐富的異構資...