datax之ftpreader
參考url:
ftpreader提供了讀取遠端ftp檔案系統資料儲存的能力。在底層實現上，ftpreader獲取遠端ftp檔案資料，並轉換為datax傳輸協議傳遞給writer。
ftpreader實現了從遠端ftp檔案讀取資料並轉為datax協議的功能，遠端ftp檔案本身是無結構化資料儲存，對於datax而言，ftpreader實現上模擬txtfilereader，有諸多相似之處。目前ftpreader支援功能如下：
功能與限制
** 支援且僅支援讀取txt的檔案，且要求txt中schema為一張二維表。**
支援類csv格式檔案，自定義分隔符。
支援多種型別資料讀取(使用string表示)，支援列裁剪，支援列常量
支援遞迴讀取、支援檔名過濾。
支援文字壓縮，現有壓縮格式為zip、gzip、bzip2。
多個file可以支援併發讀取。
暫時不能做到：
單個file支援多執行緒併發讀取，
單個file在壓縮情況下，從技術上無法支援多執行緒併發讀取。
特別需要注意的是，datax會將乙個作業下同步的所有text file視作同一張資料表。使用者必須自己保證所有的file能夠適配同一套schema資訊。讀取檔案使用者必須保證為類csv格式，並且提供給datax許可權可讀。ftp檔案到檔案測試:
測試檔案內容如下:
1,true,34,5,2018.11.21,
"job":
},"content": [,,
,,
],"encoding": "utf-8",
"fielddelimiter": ","}},
"writer": }}
]}
}
參考url:
斷點續傳
對於大量檔案拷貝黏貼不靠譜，無法斷點續傳，遇到鎖定檔案可能出錯。拷貝黏貼只適合小量檔案，習慣好的人一般會拷貝完檢查一下源和目的資料夾的檔案數量和大小。
檔案對比
複製新的或修改過的檔案到目標機器上。那麼判斷新的和修改過的檔案，就需要檔案對比。
同一目錄下重複檔案刪除
。。。免費個人資料備份軟體介紹：freefilesync、syncthing
參考url:
五款最好的免費同步軟體
參考url:
用syncthing感覺還是有些吃力，準備換同步軟體了
參考url:
freefilesync 是乙個免費的、開源的資料夾比較和同步軟體。支援windows、linux、mac os x，它也適用於64位作業系統。 程式安裝預設可選擇乙個標準的安裝程式或作為乙個可攜式應用程式。 採用乙個乾淨、簡單、直觀的介面，以同步為目標，提供了多種功能。
主要有一下幾個優點：
使用比較簡單，伺服器端甚至連軟體都不用裝，只要開ssh服務就好了；
雖然是同步軟體，但是有個realtimesync所以也可以很快的將修改的檔案同步過去；
cpu占用低，速度快（這個我還需要同步大量細小檔案進行測試，目前看來還行）；
即將推出手機版，期待
不要錢也支援版本控制，這個很重要
freefilesync 對大量細碎檔案效率還不錯，基本每秒70~150個檔案左右。
而且遠端sftp上就算有幾萬個檔案突然更新，也能在幾秒內找到並開始同步。
syncthing簡單使用
參考url:
使用開源同步工具 syncthing 控制你的資料 | linux 中國
參考url:
syncthing - 免費開源替代 resilio / bt sync 的資料夾同步工具神器 (搭建同步網盤)。
syncthing 則有著自己非常特別的優點，受到眾多高手們的推薦，被譽為是 resilio sync / bt sync 和 dropbox 的最佳開源替代品。
syncthing 免費且開源，跨平台支援 windows、mac、linux、android 等主流平台，除了 pc、手機以外，在部分路由器、樹莓派等硬體上都能輕鬆執行，它將以網頁版的形式呈現，並且 syncthing 還提供了中文介面的支援。
使用go開發，開源的檔案同步系統,它使用了其獨有的對等自由塊交換協議,速度很快,據說可以替換bittorrent sync。
vmware資料夾同步
首先感謝某大神的分享，自己整理乙份完整一點的 1.在虛擬機器設定同步檔案 2.安裝 vmware tools工具 1 安裝依賴包 yum y install perl gcc gcc c make cmake kernel kernel headers kernel devel net tools ...
Nodejs 多資料夾檔案同步
不多說，直接上 package.json asycnfile.js var fssync require fs sync var fs require fs var util require util var later require later 需要同步的資料夾路徑 var path 需要同步的...
linux 資料夾同步工具
背景 這篇文放到一群共享裡，網上被摘抄了一下，但未註明出處。這裡申明一下，摘抄可以，但請註明出處。同樣，也是未完之作。幾種資料夾同步工具介紹 1 前言 我們日常工作中，經常會遇到下面的一些情況 靜態應用中，為減少web訪問對發布系統的壓力，而使用的多級快取構架中，位於快取構架中後端的多台www伺服器...