Sersync Rsync實現觸發式檔案同步

2022-07-28 04:45:11 字數 3074 閱讀 5870

通常我們在伺服器上使用rsync加上crontab來定時地完成一些同步、備份檔案的任務。隨著業務和應用需求的不斷擴大、實時性要求越來越高。一般rsync是通過校驗所有檔案後,進行差量同步,如果檔案量十分龐大,那麼rsync進行校驗的過程也是十分耗時的。而且正在發生變化的往往是其中很少的一部分,這是非常低效的方式。其次,rsync不能實時的去監測、同步資料,雖然它可以通過crontab方式進行觸 發同步,但是兩次觸發動作一定會有時間差,這樣就導致了服務端和客戶端資料可能出現不一致,無法在應用故障時完全的恢復資料。而sersync+rsync的組合能夠較好地解決這種問題。

1、sersync是使用c++編寫,而且對linux系統文 件系統產生的臨時檔案和重複的檔案操作進行過濾(詳細見附錄,這個過濾指令碼程式沒有實現),所以在結合rsync同步的時候,節省了執行時耗和網路資源。 因此更快。

2、sersync配置起來很簡單,其中bin目錄下已經有基本上靜態編譯的2進製檔案,配合bin目錄下的xml配置檔案直接使用即可。

3、另外本專案相比較其他指令碼開源專案,使用多執行緒進行同步,尤其在同步較大檔案時,能夠保證多個伺服器實時保持同步狀 態。

4、本專案有出錯處理機制,通過失敗佇列對出錯的檔案重新同步,如果仍舊失敗,則每10個小時對同步失敗的檔案重新同步。

5、本專案自帶crontab功能,只需在xml配置檔案中開啟,即可按您的要求,隔一段時間整體同步一次。無需再額外配置crontab功能。

6、本專案socket與http外掛程式擴充套件,滿足您二次開發的需要。

服務端:172.16.57.26 centos6.7 rsync-server 接收檔案

客戶端:172.16.57.25 centos6.7 sersync+rsync-client 傳送檔案

1、安裝rsync

# rpm -qa | grep rsync #檢視rsync是否已經安裝,如果沒有安裝,yum install直接安裝即可
2、使用xinetd方式啟動rsync

# vim /etc/xinetd.d/rsync #修改disable = no,flags = ipv4
3、修改rsync配置檔案

# mkdir /etc/rsyncd

# vim /etc/rsyncd/rsyncd.conf #修改配置檔案如下

# global options

motd file=/etc/motd

port=873

pid file=/var/run/rsyncd.pid

lock file = /var/lock/rsyncd

log file=/var/log/rsyncd

transfer logging = yes

log format = [op]:%o [ip]:%a [module]:%m [path]:%p [file]:%f [size]:%l

syslog facility=daemon

max connections=100

[recv]

comment = "recv data from 57.25"

list = yes

use chroot = yes

read only = no

write only = no

exclude =

include =

auth users = rsync

secrets file = /etc/rsyncd/rsyncd.secrets

strict modes = yes

hosts allow = 172.16.57.25

hosts deny = *

# ln -s /etc/rsyncd/rsyncd.conf /etc/rsyncd.conf

4、建立使用者認證檔案

# vim /etc/rsyncd/rsyncd.secrets

rsync:111111 #格式 使用者名稱:口令

#chmod 600 /etc/rsyncd/rsyncd.secrets #許可權設為600,否則啟動會報錯

5、啟動rsync

# /etc/init.d/xinetd start

# netstat -tpln | grep 873 #檢視873埠是否已經在監聽了

1、安裝rsync,和服務端一樣,沒有安裝的話yum install安裝

2、安裝sersync

# tar xzvf sersync2.5_64bit_binary_stable_final.tar.gz

# mv gnu-linux-x86 /opt/programs/sersync #解壓並拷貝到安裝目錄

3、配置sersync

<?xml version="1.0" encoding="iso-8859-1"?>
4、服務端密碼認證

# vim /etc/rsync.pas #在相應的目錄下配置身份驗證檔案,裡面輸入服務端的密碼,並chmod 600

# chmod 600 /etc/rsync.pas

5、啟動sersync

# ./sersync2 -d -o confxml.xml
在客戶端下監控目錄/opt/rsync_data/send下新增檔案或者刪除,服務端的接受目錄都會實時地進行更新。

在此例中,伺服器iptables和selinux均處於關閉狀態。

note: 這種方法同步檔案的時候,同步檔案的數量如果很多,可能會有部分檔案在同步過程中缺失。查閱相關資料後,找到了如下的解決方案。由於本例中,使用的是xinetd方式啟動的rsync服務,在xinetd的配置檔案中,修改幾個引數如下:

# vim /etc/xinetd.conf

修改幾個引數:

cps = 500 30

instances = unlimited

per_source = unlimited

sersync rsync實現實時同步備份

2.編寫sersync配置檔案 root nfs01 sersync cd usr local sersync conf root nfs01 conf ll rw r r 1 root root 2214 2011 10 26 11 54 confxml.xml 6 8 9 10 11 說明 實現...

Sersync Rsync實現觸發式檔案同步

通常我們在伺服器上使用rsync加上crontab來定時地完成一些同步 備份檔案的任務。隨著業務和應用需求的不斷擴大 實時性要求越來越高。一般rsync是通過校驗所有檔案後,進行差量同步,如果檔案量十分龐大,那麼rsync進行校驗的過程也是十分耗時的。而且正在發生變化的往往是其中很少的一部分,這是非...

sersync rsync 實時非同步備份

伺服器兩台 rsync server 192.168.1.8 備份伺服器 sersync node1 192.168.1.9 需要備份的伺服器 系統centos7.4 關閉防火牆和selinux 基礎優化 略 新增rsync服務的使用者,管理本地目錄的 useradd s sbin nologin ...