DataX的部署與安裝

2021-07-24 23:46:15 字數 724 閱讀 6994

剛來公司的第二天做的事就是把cd的資料導到bj來,因為不能按照原來一模一樣的去導所以就用到了datax,而datax幫我搞定了這個難題,有道是花時間想辦法解決,不如找工具研究。

下面開始

解壓到虛擬機器上 tar -zxvf datax.tar.gz 修改許可權為755 進入bin

目錄即可操作同步作業

tar zxvf datax.tar.gz

sudo chmod -r

755

cd /bin

python datax.py ../job/job.json

把寫好的配置檔案(eg:cdshop2bjshop)放到 bin目錄下

修改配置檔案的位址

執行命令 在bin目錄下 python datax.py cdshop2bjshop(配置檔案)成功後會顯示如下內容

詳細:需要注意倆表同步之間 欄位名可以不同 但字段數量和型別必須一樣

Scrapyd的安裝與部署

本文的目的在於介紹 scrapyd 的安裝與使用,為節省篇幅,scrapy 的安裝與 scrapy爬蟲的開發在本文不予介紹,預設已經開發完成,當然,本機的python環境變數也是配置好的。筆者所用的環境如下 系統 windows 10 python python 3.6.3 scrapy scrap...

Nginx的安裝與部署

yum install y wget yum install y vim enhanced yum install y make cmake gcc gcc c wget 2.tar gzyum install y pcre pcre devel yum install y zlib zlib de...

xdebug的安裝與部署

注意 a.如果在apache下執行php則需要vc6版本的xdebug.dll,在windows下需要使用vc9的版本。b.根據系統的不同選擇64bit或32bit。2.將php xdebug 2.1.1 5.3 vc9 nts x64放到php ext 下面,並重命名為php xdebug.dll...