觸發式檔案同步在Sersync Rsync中實現

背景

通常我們在伺服器上使用rsync加上crontab來定時地完成一些同步、備份檔案的任務。隨著業務和應用需求的不斷擴大、實時性要求越來越高。一般rsync是通過校驗所有檔案後，進行差量同步，如果檔案量十分龐大，那麼rsync進行校驗的過程也是十分耗時的。而且正在發生變化的往往是其中很少的一部分，這是非常低效的方式。其次，rsync不能實時的去監測、同步資料，雖然它可以通過crontab方式進行觸發同步，但是兩次觸發動作一定會有時間差，這樣就導致了服務端和客戶端資料可能出現不一致，無法在應用故障時完全的恢復資料。而sersync+rsync的組合能夠較好地解決這種問題。

sersync介紹

sersync是使用c++編寫，而且對linux系統文件系統產生的臨時檔案和重複的檔案操作進行過濾（詳細見附錄，這個過濾指令碼程式沒有實現），所以在結合rsync同步的時候，節省了執行時耗和網路資源。因此更快。

相比較上面兩個專案，sersync配置起來很簡單，其中bin目錄下已經有基本上靜態編譯的2進製檔案，配合bin目錄下的xml配置檔案直接使用即可。

另外本專案相比較其他指令碼開源專案，使用多執行緒進行同步，尤其在同步較大檔案時，能夠保證多個伺服器實時保持同步狀態。

本專案有出錯處理機制，通過失敗佇列對出錯的檔案重新同步，如果仍舊失敗，則每10個小時對同步失敗的檔案重新同步。

本專案自帶crontab功能，只需在 xml配置檔案中開啟，即可按您的要求，隔一段時間整體同步一次。無需再額外配置crontab功能。

本專案socket與http外掛程式擴充套件，滿足您二次開發的需要。

實戰過程

一、伺服器環境

服務端：172.16.57.26 centos6.7 rsync-server 接收檔案

客戶端：172.16.57.25 centos6.7 sersync+rsync-client 傳送檔案

二、服務端安裝rsync-server

1.安裝rsync

rpm -qa | grep rsync #檢視rsync是否已經安裝，如果沒有安裝，yum install直接安裝即可

2. 使用xinetd方式啟動rsync

vim /etc/xinetd.d/rsync #修改disable = no，flags = ipv4

3. 修改rsync配置檔案

mkdir /etc/rsyncd
vim /etc/rsyncd/rsyncd.conf #修改配置檔案如下
# global options
motd file=/etc/motd
port=873
pid file=/var/run/rsyncd.pid
lock file = /var/lock/rsyncd
log file=/var/log/rsyncd
transfer logging = yes
log format = [op]:%o [ip]:%a [module]:%m [path]:%p [file]:%f [size]:%l
syslog facility=daemon
max connections=100
[recv]
comment = "recv data from 57.25"
list = yes
use chroot = yes
read only = no
write only = no
exclude =
include =
auth users = rsync
secrets file = /etc/rsyncd/rsyncd.secrets
strict modes = yes
hosts allow = 172.16.57.25
hosts deny = *
ln -s /etc/rsyncd/rsyncd.conf /etc/rsyncd.conf

4. 建立使用者認證檔案

vim /etc/rsyncd/rsyncd.secrets

test:111111 #格式使用者名稱:口令

chmod 600 /etc/rsyncd/rsyncd.secrets #許可權設為600，否則啟動會報錯

5. 啟動rsync

/etc/init.d/xinetd start

netstat -tpln | grep 873 #檢視873埠是否已經在監聽了

三、客戶端安裝sersync+rsync-client

1.安裝rsync，和服務端一樣，沒有安裝的話yum install安裝

2.安裝sersync

tar xzvf sersync2.5_64bit_binary_stable_final.tar.gz

mv gnu-linux-x86 /opt/programs/sersync #解壓並拷貝到安裝目錄

3. 服務端密碼認證　　　　　

vim /etc/rsync.pas #在相應的目錄下配置身份驗證檔案，裡面輸入服務端的密碼，並chmod 600

chmod 600 /etc/rsync.pas

4. 啟動sersync

./sersync2 -d -o confxml.xml

四、測試認證

在客戶端下監控目錄/opt/rsync_data/send下新增檔案或者刪除，服務端的接受目錄都會實時地進行更新。

在此例中，伺服器iptables和selinux均處於關閉狀態。

這種方法同步檔案的時候，同步檔案的數量如果很多，可能會有部分檔案在同步過程中缺失。查閱相關資料後，找到了如下的解決方案。由於本例中，使用的是xinetd方式啟動的rsync服務，在xinetd的配置檔案中，修改幾個引數如下：

vim /etc/xinetd.conf
修改幾個引數：
cps = 500 30
instances = unlimited
per_source = unlimited

具體的含義可以自己man xinetd.conf檢視一下。

目前還沒有同步大檔案的需求，可能同步大檔案存在一些延遲，還有待解決。

觸發式檔案同步在Sersync Rsync中實現

Sersync Rsync實現觸發式檔案同步

Sersync Rsync實現觸發式檔案同步

基於sersync海量檔案實時同步

觸發式檔案同步在Sersync Rsync中實現

Sersync Rsync實現觸發式檔案同步

Sersync Rsync實現觸發式檔案同步

基於sersync海量檔案實時同步

相關推薦