lsync目錄檔案實時同步工具

參考文件：

官網：伺服器角色

作業系統型別

ip位址

目錄目標

源伺服器

centos7.4

11.11.11.2

/share

實時同步到目標伺服器

目標伺服器

centos7.4

11.11.11.3

/opt/share

yum -y install lua lua-devel rsync

1、配置源伺服器免密碼ssh登入目標伺服器

如果要通過ssh的方式，從源伺服器同步到目標伺服器的話，需要在源伺服器上配置ssh免密碼登入，如果是同一臺伺服器的本地目錄同步到另乙個目錄的話，不需要配置ssh免密碼登入

ssh-keygen -t dsa #一路回車

ssh-copy-id -i /root/.ssh/id_dsa.pub [email protected] #將源伺服器的公鑰傳送到目標伺服器，這裡需要輸入目標伺服器的root使用者密碼

ssh [email protected] ip address #檢視結果是否為目標伺服器的ip位址，如果是的話，說明ssh免金鑰登入配置成功

2、安裝依賴包

yum -y install lua lua-devel rsyn

3、安裝lsync

yum -y install lsyncd       #這條命令只適用於centos 6.*版本的系統，7以上的系統會報找不到lsyncd包

#cnetos 
7.*版本如果要裝lsyncd的話，需要先安裝擴充套件源eple如下，然後在執行yum -y install lsyncd
路徑              說明

/etc/lsyncd.conf 主配置檔案
/etc/sysconfig/lsyncd init環境變數和啟動選項配置檔案
/etc/logrotate.d/lsyncd 日誌滾動配置檔案
/usr/share/doc/lsyncd-*/examples/目錄下有lsyncd.conf配置例子
/etc/init.d/lsyncd lsyncd的init啟動指令碼
/usr/bin/lsyncd lsyncd命令路徑
/var/run/lsyncd/可放lsyncd.pid的目錄
/var/log/lsyncd/ 預設的日誌目錄

這裡ssh埠改為22022
實現結果：對源目錄下的檔案進行增刪改都會同步到目標伺服器，但需要注意的是在啟動服務後會刪除目標服務指定的目錄下的檔案（類似於映象檔案）
[root@localhost share]# cat /etc/lsyncd.conf

settings 
sync ,
},ssh =
}[root@localhost share]#

啟動服務

centos6
# /etc/init.d/lsyncd start
設定開機啟動
# chkconfig lsyncd on
centos7
#systemctl start lsyncd.service
設定開機啟動
systemctl enable lsyncd.service

引數詳解：
setting配置引數詳解

inotifymode: 預設是closewrite，還可以是modify或者 closewrite or modify
statusfile: 定義狀態檔案位置
statusinterval:將lsyncd的狀態寫入statusfile檔案的建個時間，預設是10s ，對實時同步要求比較高的話，可以調小，我設定為3s。
logfile:定義日誌檔案的位置，同步內容也可以在此檔案看到
sync配置引數詳解
default
.rsyncssh：同步到遠端主機目錄，rsync的ssh模式，需要使用key來認證
source：源目錄，需要被同步的目錄
host：遠端備份主機ip
targetdir：遠端備份目錄
delay：等待rsync同步延時時間，預設15s，如果對實時同步要求比較高，可以設定相對低點，我設定的為3s
init： 預設為true，啟動lsyncd服務後，同步源目錄裡邊的所有資料，如果值為false時，只同步源目錄lsyncd服務啟動後改變的檔案
rsync選項中引數：
binary:定義rsync的執行位置
archive：定義傳輸是否歸檔
compress：定義遠端創術是否壓縮，
verbose：定義同步時顯示的詳細資訊，列出同步的檔案
_extra：限制傳輸速度，為了不影響正常業務執行，可以做此設定，單位kb/s，與rsync相同（計算方法：10mb/s 等於 10 x 1024/8 = 1280kb/s； 2000kb/s 等於2000 x 8/1024 = 15.6mb/s）
ssh選項引數
port：定義遠端備份主機的遠端埠，定義非22埠，如果是22埠，可以不寫。

[root@tomcat2 ~]# cat /etc/lsyncd.conf 

settings 
sync ,
delay = 5
, --init = true,
rsync =
}sync ,
delay = 5
, --init = true,
rsync =
}[root@tomcat2 ~]#

settings 

-- i. 本地目錄同步，direct：cp/rm/mv。 適用：500+萬檔案，變動不大
sync 
--ii. 本地目錄同步，rsync模式：rsync
sync 
}-- iii. 遠端目錄同步，rsync模式 +rsyncd daemon
sync ,
delay = 30
, init = false
, rsync =}}
-- iv. 遠端目錄同步，rsync模式 +ssh shell
sync 
}-- v. 遠端目錄同步，rsync模式 +rsyncssh，效果與上面相同
sync ,
},ssh =
}

指令碼每25秒監測一次lsyncd服務的程序是否正常，若程序不在了，則自動啟動程序，正常與否都會寫入日誌檔案

```bash
cat /opt/lsync_monitor.sh
#!/bin/bash
source /etc/profile
start()
check()
elif [ $num -eq 1
];then
fi}tot()
totsleep 
25tot

6、其他設定
##### 5.2

lsync_monitor.sh產生日誌只保留1個月的記錄
由於lsync_monitor.sh每分鐘寫入6行內容，所以一天下來日誌量也是比較大的
```bash
cat /opt/month.sh
#!/bin/bash
source /etc/profile
mv -f /var/log/lsync_monitor.log /var/log/last_month.log
> /var/log/lsync_monitor.log
```##### 
5.3加入crontab定時任務
```bash
crontab -e
*/5 * * * * /usr/sbin/ntpdate -s 192.168.8.18
#####lsync to 
10.66.84.16:/opt/share*****=
*/1 * * * * /opt/lsync_monitor.sh >> /var/log/lsync_monitor.log00
1 * * /opt/month.sh

faq:
當需要同步的資料量上百g時，程序起來一會後，自動停了。檢視日誌：

因為同步的資料量較大，需要lsyncd監測的inode數量超過了自身預設的最大監控數量，所以報錯
```bash
tail -f /var/log/lsyncd/lsyncd.log
遇到：error: terminating since 
outof inotify watches.
consider increasing /proc/sys/fs/inotify/max_user_watches
解決辦法：
echo 
65535000 > /proc/sys/fs/inotify/max_user_watches
這個值改成多少需要根據源目錄所在分割槽的的inode多少來定（使用df -i檢視該分割槽總的inode數量）
sysctl -p
重啟lsyncd
 
監控目錄下的檔案操作與實時同步
若有個需求 要求記錄下某個目錄下的所有操作，包括建立檔案 修改檔案 重新命名 刪除檔案的操作，將以上所有的操作全部記錄到日誌中，或者做其他操作。net提供了乙個方法叫做 system.io.filesystemwatcher 方便powershell來呼叫。具體使用方法，我慢慢解釋。folder c...
sersync 開源伺服器檔案實時同步工具
這是我貢獻的第乙個開源軟體sersync，主要用於伺服器同步，web映象等功能。基於boost1.41.0,inotify api,rsync command.開發。測試環境centos，ubuntu。利用inotify與rsync對伺服器進行實時同步，其中inotify用於監控檔案系統事件，rsy...
檔案同步工具
前幾天有台伺服器電源壞了，還好資料沒有丟。因此必須做好伺服器檔案內容的備份。伺服器主要是用來提供 服務，帶著乙個資料庫，資料庫可以用分發和訂閱來解決，網頁檔案開發電腦也有備份，因此重點在上傳的檔案部分。手動上傳複製備份的方法顯然不可行，需要做到自動將上傳的檔案同步到另一台伺服器上。找到了乙個免費開源...