抽數工具datax使用

2021-09-13 20:43:43 字數 811 閱讀 5213

官網文件位址 :

],

"password": "********",

"username": "********",

"splitpk":"contno",}},

"writer":

],"presql": [

"drop table 語句",

"create table 語句"

],"password": "*****",

"username": "*****"}}

}],

"setting": }}

}這個例子是每次拉去全量資料從oracle表對表抽取到mysql,其實還可以實現增量抽取,這個需要些crontab和shell 指令碼,

在linux上執行,crontab寫定時任務去排程shell指令碼,shell指令碼裡面執行job檔案,執行命令datax官網有介紹,job配置檔案各個

引數的意義也有介紹,增量抽取一般按照表的時間戳抽取,每次抽取前通過shell指令碼讀取預先儲存在檔案中的上次抽取日期,然後通過命令引數傳入指令碼中

#!/bin/bash

max_time="'$(cat /root/temp/dataxtime/jobtime_*)'"

echo $max_time

/root/datax/bin/datax.py /root/datax/job/test1.json -p "-dmax_time=$max_time" >>/root/log/datax/test_log.`date +%y%m%d` 2>&1 &

其他複雜一點例子,查閱一下資料後,自己稍加思考都可以做

datax 如何使用datax

content fielddelimiter writer 在當前目錄下執行python datax.py test.json命令,即可將datax執行起來 三 引數說明 1 datax使用json作為配置檔案,檔案可以是本地的也可以是遠端http伺服器上面 2 json配置檔案最外層是乙個job,...

datax 如何使用datax

content fielddelimiter writer 在當前目錄下執行python datax.py test.json命令,即可將datax執行起來 三 引數說明 1 datax使用json作為配置檔案,檔案可以是本地的也可以是遠端http伺服器上面 2 json配置檔案最外層是乙個job,...

DataX工具遷移DRDS到DRDS使用介紹

datax介紹 datax 是阿里巴巴集團內被廣泛使用的離線資料同步工具 平台,實現包括 mysql oracle sqlserver postgre hdfs hive ads hbase tablestore ots maxcompute odps drds 等各種異構資料來源之間高效的資料同步...