datax環境搭建安裝和如何使用概述

2021-10-09 10:02:51 字數 867 閱讀 6281

先保證如下軟體已經成功安裝,系統 為 linux

wget

tar -zxvf datax.tar.gz

進入datax的目錄,

測試指令碼及環境運**況:python bin/datax.py job/job.json

能夠列印出如下的結果,說明已經成功安裝

任務啟動時刻                    : 2018-08-31 11:24:00

任務結束時刻 : 2018-08-31 11:24:10

任務總計耗時 : 10s

任務平均流量 : 253.91kb/s

記錄寫入速度 : 10000rec/s

讀出記錄總數 : 100000

讀寫失敗總數 : 0

datax開發,就是寫json配置檔案,官網上有很多各種資料來源的配置說明

官網寫好後,進入datax的目錄,執行 python bin/datax.py 自己的json檔案位址,就可以了

檢視json檔案的編寫模板和說明,這裡以mysql和hdfs為說明,要查詢其它的,將-r 和 -w的名稱換下

不過還有很多的引數沒有顯示出來  ,只是個大概參考

python bin/datax.py -r mysqlreader -w hdfswriter 

vim環境搭建,安裝外掛程式

安裝vim 這裡我下的vim 7.2.tar 2.解壓 tar xvf vim 7.2.tar 3.configure cd vim 7.2 make ditclean 這個很重要,可以清理一下上一次編譯生成的所有檔案,開始的時候不知道,很傻比的到 bin 目錄下把所有關於vim的都給刪除了一遍 c...

Storm搭建 安裝 以及環境配置

準備工作 1.首先安裝zookeeper,然後驗證zookeeper正確性 bin zkcli.sh server 127.0.0.1 21812.安裝kafka download a recent stable release.tar xzf kafka tgz cd kafka sbt upda...

python資料探勘環境搭建(安裝scikit)

一 所需資源 如圖 我的作業系統是win7旗艦版,64位 python使用3.4.4,資料庫是mysql,所以需要pymysql,資料探勘需要安裝的numpy scipy matlotlib scikit learn等庫 ide我用的是vscode。二 安裝搭建 1去到python安裝scripts...