DataX的使用 大資料同步技術

2022-07-12 07:27:14 字數 1274 閱讀 2984

準備工作:

2.datax的安裝部署

3.datax的使用python版本要求:2.7.x,datax未更新至python3win10下python 2.7與python 3.6雙環境安裝**教程

設計json文件:(sqlserver to mysql)

,

"errorlimit":

},"content

": }

},"writer": ]}

}}]}

}

官方解讀各個資料庫文件

執行:

python 空格\bin\datax.py 空格

python2 d:\download\datax\datax\bin\datax.py d:\download\datax\job\sqlservertomysql.json
亂碼輸入:

chcp 65001
出錯:error retryutil - exception when calling callable, 即將嘗試執行第1次重試.本次重試計畫等待[1000]ms,實際等待[1000]ms, 異常msg:[datax無法連線對應的資料庫,可能原因是:1) 配置的ip/port/database/jdbc錯誤,無法連線。2) 配置的username/password錯誤,鑑權失敗。請和dba確認該資料庫的連線資訊是否正確。]

解決方法:

datax裡面的mysql驅動更換成合適的8.x的版本就好了:

替換:datax->plugins->reader->mysqlreader->libs->mysql-connector-5...的jar包換成8.xx的版本

datax->plugins->write->mysqlwriter->libs->coonector-5...的jar包換成8.xx的版本

執行成功:

DataX資料同步

wget tar xvf datax.tar.gz vi bash profile source bash profile在 datax home job目錄下,編寫同步指令碼 username root password 123456 splitpk id writer username root...

同步資料庫神器DataX

datax同步資料步驟很簡單,其他不少人,寫的華麗呼哨,自己總結一篇。試了window 估計linux 一樣,步驟如下 安裝datax要求 python 2或者3 jdk 解壓出來是這樣 然後開啟 開啟 datax bin資料夾,再這個目錄下面cmd執行指令碼命令 中文亂碼 處理 回車就不是中文亂碼...

大資料技術

如果沒有乙個好的開始,不妨試試乙個壞的開始吧。因為乙個壞的開始,總比沒有開始強。而完美的開始,則永遠都不會來到。資料採集傳輸主要技術 分為兩類,一類是離線批處理 另一類是實時資料採集和傳輸 離線批處理最有名的是sqoop 實時資料採集和傳輸最為常用的是flume和kafka sqoop 一款開源的離...