datax 模板 datax模板

2021-10-13 04:30:30 字數 971 閱讀 2765

datax 是乙個異構資料來源離線同步工具,致力於實現包括關係型資料庫(mysql、oracle等)、hdfs、hive、odps、hbase、ftp等各種異構資料來源之間穩定高效的資料同步功能。

1. mysql2mysql.json

"job": }",

"username": "",

"userpassword": "",

"dbname": "dbfoo",

"collectionname": "collfoo",

"column": [{

"index":0,

"name": "_id",

"type": "string"

"index":1,

"name": "mac",

"type": "string"

"index":2,

"name": "logtime",

"type": "string"

"writer": {

"name": "mongodbwriter",

"parameter": {

"address": ["192.168.0.2:27017"],

"username": "",

"userpassword": "",

"dbname": "dbfoo",

"collectionname": "collfoo",

"column": [{

"index":0,

"name": "_id",

"type": "string"

"index":1,

"name": "mac",

"type": "string"

"index":2,

"name": "logtime",

"type": "string"

標籤:index,00,string,192.168,datax,type,模板,name

datax 模板 datax實戰

一 全量同步 1.簡單字段同步 本次測試的表為mysql的系統庫 sakila中的actor表,由於不支援目的端自動建表,此處預先建立目的表 create table actor copy actor id smallint 5 unsigned not nullauto increment,fir...

datax 模板 DataX引擎

datax 引擎 一 datax簡介 datax採用的是framework plugin架構,資料來源讀取和寫入分別對應reader與writer外掛程式,每一種資料來源會有對應的reader或者writer,datax預設地提供了豐富的reader與writer支援,用於適配多種主流資料來源。fr...

datax 如何使用datax

content fielddelimiter writer 在當前目錄下執行python datax.py test.json命令,即可將datax執行起來 三 引數說明 1 datax使用json作為配置檔案,檔案可以是本地的也可以是遠端http伺服器上面 2 json配置檔案最外層是乙個job,...