dataX安裝及初始測試使用

2021-10-09 08:03:46 字數 3656 閱讀 2689

準備工作

進入到datax3.0的bin目錄下執行:python datax.py …/job/job.json

得到以下圖示 結果(如中文出現亂碼,直接輸入chcp 65001回車,重新執行命令即可):

2020-09-10 10:15:35.899 [job-0] info  jobcontainer -

任務啟動時刻 : 2020-09-10 10:15:25

任務結束時刻 : 2020-09-10 10:15:35

任務總計耗時 : 10s

任務平均流量 : 253.91kb/s

記錄寫入速度 : 10000rec/s

讀出記錄總數 : 100000

讀寫失敗總數 : 0

如果出現上面的結果,說明該datax能夠正常使用!

1、資料表

匯出資料表

欄位名型別備註

sys_name

varchar

系統名稱

bug_name

varchar

bug名稱

bug_detail

varchar

bug細節

weight

tinyint

重要度並向其中插入資料,如下表所示。

sys_name

bug_name

bug_detail

weightab

c2b3

c255

c266

c277

c288

c299

c21010c2

1111c2

1212c2

1313c2

1414c2

1515c2

匯入資料表資料結構同上表

欄位名型別

備註sys_name

varchar

系統名稱

bug_name

varchar

bug名稱

bug_detail

varchar

bug細節

weight

tinyint

重要度2、構建任務json

datax工具是用json檔案作為配置檔案的,根據官方提供文件我們構建json檔案如下所示,test.json。

]}

}, "writer":]

}}}],

"setting":,

"errorlimit":}

}}

它由三部分組成,分別是讀,寫和通用配置。

reader部分,也就是讀,常用以下幾種引數,如表讀參數列所示。

讀參數列

引數名解釋

備註name

與要讀取的資料庫一致

字串jdbcurl

資料庫鏈結

username

使用者名稱字串,資料庫的使用者名稱

password

密碼字串,資料庫的密碼

table

要同步的表名

陣列,需保證表結構一致

column

要同步的列名

陣列where

選取的條件

字串querysql

自定義查詢語句

會自動忽略上述的同步條件

writer部分,也就是寫,常用以下幾種引數,如表寫參數列所示。

寫參數列

引數名解釋

備註name

與要讀取的資料庫一致

字串jdbcurl

資料庫鏈結

字串;不和writer一樣;可以填寫連線附件控制資訊

username

使用者名稱字串,資料庫的使用者名稱

password

密碼字串,資料庫的密碼

table

要同步的表名

陣列,需保證表結構一致

column

要同步的列名

列名可以不對應,但是型別和總的個數要一致

presql

寫入前執行的語句

陣列,比如清空表等

postsql

寫入後執行的語句

陣列writemode

寫入方式,預設為insert

insert/replace/update

jdbcurl引數說明:

jdbc:mysql:

引數名稱

引數說明

user

資料庫使用者名稱(用於連線資料庫)

password

使用者密碼(用於連線資料庫)

useunicode

是否使用unicode字符集,如果引數characterencoding設定為gb2312或gbk,本引數值必須設定為true

characterencoding

當useunicode設定為true時,指定字元編碼。比如可設定為gb2312或gbk

autoreconnect

當資料庫連線異常中斷時,是否自動重新連線?

autoreconnectforpools

是否使用針對資料庫連線池的重連策略

failoverreadonly

自動重連成功後,連線是否設定為唯讀?

maxreconnects

autoreconnect設定為true時,重試連線的次數

initialtimeout

autoreconnect設定為true時,兩次重連之間的時間間隔,單位:秒

connecttimeout

和資料庫伺服器建立socket連線時的超時,單位:毫秒。 0表示永不超時,適用於jdk 1.4及更高版本

sockettimeout

socket操作(讀寫)超時,單位:毫秒。 0表示永不超時

job.setting.speed(流量控制)

job支援使用者對速度的自定義控制,channel的值可以控制同步時的併發數,byte的值可以控制同步時的速度

job.setting.errorlimit(髒資料控制)

job支援使用者對於髒資料的自定義監控和告警,包括對髒資料最大記錄數閾值(record值)或者髒資料佔比閾值(percentage值),當job傳輸過程出現的髒資料大於使用者指定的數量/百分比,datax job報錯退出。

執行:python 空格\bin\datax.py 空格,如,python f:\workspace\datax\bin\datax.py f:\download\datax\job\test.json

如果有匯入中文資料,注意資料庫中設定的排序規則,要設成成uft8之類的。

tsung 安裝及測試使用

2.安裝gnuplot 5.0.6.tar.gz 放在tsung下,使用tar zvxf gnuplot 5.0.6.tar.gz解壓 進入cd gnuplot 5.0.6目錄下 使用命令 configure prefix usr local gnuplot 使用make make install ...

datax環境搭建安裝和如何使用概述

先保證如下軟體已經成功安裝,系統 為 linux wget tar zxvf datax.tar.gz 進入datax的目錄,測試指令碼及環境運 況 python bin datax.py job job.json 能夠列印出如下的結果,說明已經成功安裝 任務啟動時刻 2018 08 31 11 2...

gtest安裝及測試

git clonegtest編譯 cd googletest生成makefile檔案 先安裝cmake,brew install cmake cmake cmakelists.txt執行make,生成兩個靜態庫 libgtest.a libgtest main.a make拷貝到系統目錄,注意,如果...