背景
通常我們?cè)诜?wù)器上使用rsync加上crontab來定時(shí)地完成一些同步、備份文件的任務(wù)。隨著業(yè)務(wù)和應(yīng)用需求的不斷擴(kuò)大、實(shí)時(shí)性要求越來越高。一般rsync是通過校驗(yàn)所有文件后，進(jìn)行差量同步，如果文件量十分龐大，那么rsync進(jìn)行校驗(yàn)的過程也是十分耗時(shí)的。而且正在發(fā)生變化的往往是其中很少的一部分，這是非常低效的方式。其次，rsync不能實(shí)時(shí)的去監(jiān)測(cè)、同步數(shù)據(jù)，雖然它可以通過crontab方式進(jìn)行觸 發(fā)同步，但是兩次觸發(fā)動(dòng)作一定會(huì)有時(shí)間差，這樣就導(dǎo)致了服務(wù)端和客戶端數(shù)據(jù)可能出現(xiàn)不一致，無法在應(yīng)用故障時(shí)完全的恢復(fù)數(shù)據(jù)。而Sersync+Rsync的組合能夠較好地解決這種問題。
Sersync介紹
1、sersync是使用c++編寫，而且對(duì)linux系統(tǒng)文 件系統(tǒng)產(chǎn)生的臨時(shí)文件和重復(fù)的文件操作進(jìn)行過濾（詳細(xì)見附錄，這個(gè)過濾腳本程序沒有實(shí)現(xiàn)），所以在結(jié)合rsync同步的時(shí)候，節(jié)省了運(yùn)行時(shí)耗和網(wǎng)絡(luò)資源。 因此更快。
2、sersync配置起來很簡(jiǎn)單，其中bin目錄下已經(jīng)有基本上靜態(tài)編譯的2進(jìn)制文件，配合bin目錄下的xml配置文件直接使用即可。
3、另外本項(xiàng)目相比較其他腳本開源項(xiàng)目，使用多線程進(jìn)行同步，尤其在同步較大文件時(shí)，能夠保證多個(gè)服務(wù)器實(shí)時(shí)保持同步狀 態(tài)。
4、本項(xiàng)目有出錯(cuò)處理機(jī)制，通過失敗隊(duì)列對(duì)出錯(cuò)的文件重新同步，如果仍舊失敗，則每10個(gè)小時(shí)對(duì)同步失敗的文件重新同步。
5、本項(xiàng)目自帶crontab功能，只需在xml配置文件中開啟，即可按您的要求，隔一段時(shí)間整體同步一次。無需再額外配置crontab功能。
6、本項(xiàng)目socket與http插件擴(kuò)展，滿足您二次開發(fā)的需要。
實(shí)戰(zhàn)過程
一、服務(wù)器環(huán)境
服務(wù)端：172.16.57.26 centos6.7 rsync-server 接收文件
客戶端：172.16.57.25 centos6.7 sersync+rsync-client 發(fā)送文件
二、服務(wù)端安裝rsync-server
1、安裝rsync
# rpm -qa | grep rsync #查看rsync是否已經(jīng)安裝，如果沒有安裝，yum install直接安裝即可
2、使用xinetd方式啟動(dòng)rsync
|
1
|
# vim /etc/xinetd.d/rsync #修改disable = no，flags = IPv4 |
3、修改rsync配置文件
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
|
# mkdir /etc/rsyncd# vim /etc/rsyncd/rsyncd.conf #修改配置文件如下# GLOBAL OPTIONSmotd file=/etc/motdport=873pid file=/var/run/rsyncd.pidlock file = /var/lock/rsyncdlog file=/var/log/rsyncdtransfer logging = yeslog format = [op]:%o [ip]:%a [module]:%m [path]:%P [file]:%f [size]:%lsyslog facility=daemonmax connections=100[recv]comment = "recv data from 57.25"path = /opt/rsync_data/recv #這邊的目錄的宿主要改為apprun，在這里同步過程中使用的是普通賬戶apprunlist = yesuse chroot = yesuid = apprungid = apprunread only = nowrite only = noexclude =include =auth users = rsyncsecrets file = /etc/rsyncd/rsyncd.secretsstrict modes = yeshosts allow = 172.16.57.25hosts deny = *# ln -s /etc/rsyncd/rsyncd.conf /etc/rsyncd.conf |
4、建立用戶認(rèn)證文件
|
1
2
3
|
# vim /etc/rsyncd/rsyncd.secretsrsync:111111 #格式 用戶名:口令#chmod 600 /etc/rsyncd/rsyncd.secrets #權(quán)限設(shè)為600，否則啟動(dòng)會(huì)報(bào)錯(cuò) |
5、啟動(dòng)rsync
|
1
2
|
# /etc/init.d/xinetd start# netstat -tpln | grep 873 #查看873端口是否已經(jīng)在監(jiān)聽了 |
三、客戶端安裝sersync+rsync-client
1、安裝rsync，和服務(wù)端一樣，沒有安裝的話yum install安裝
2、安裝sersync
|
1
2
|
# tar xzvf sersync2.5_64bit_binary_stable_final.tar.gz# mv GNU-Linux-x86 /opt/programs/sersync #解壓并拷貝到安裝目錄 |
3、配置sersync
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
|
<?xml version="1.0" encoding="ISO-8859-1"?><head version="2.5"> <host hostip="localhost" port="8008"></host> <debug start="false"/> <fileSystem xfs="false"/> <filter start="false"> <exclude expression="(.*)\.svn"></exclude> <exclude expression="(.*)\.gz"></exclude> <exclude expression="^info/*"></exclude> <exclude expression="^static/*"></exclude> </filter> <inotify> <delete start="true"/> <createFolder start="true"/> <createFile start="true"/> <closeWrite start="true"/> <moveFrom start="true"/> <moveTo start="true"/> <attrib start="true"/> <modify start="true"/> </inotify> <sersync> <localpath watch="/opt/rsync_data/send"> #監(jiān)控目錄，一旦本地目錄有文件變化，將同步到服務(wù)端 <remote ip="172.16.57.26" name="recv"/>#服務(wù)端ip和同步模塊 </localpath> <rsync> <commonParams params="-artuz"/> #rsync同步參數(shù) <auth start="true" users="rsync" passwordfile="/etc/rsync.pas"/> ＃服務(wù)端認(rèn)證密碼 <userDefinedPort start="false" port="873"/> <timeout start="false" time="100"/><!-- timeout=100 --> <ssh start="false"/> </rsync> <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once--> <crontab start="false" schedule="600"><!--600mins--> <crontabfilter start="false"> <exclude expression="*.php"></exclude> <exclude expression="info/*"></exclude> </crontabfilter> </crontab> <plugin start="false" name="command"/> </sersync></head> |
4、服務(wù)端密碼認(rèn)證
|
1
2
|
# vim /etc/rsync.pas #在相應(yīng)的目錄下配置身份驗(yàn)證文件，里面輸入服務(wù)端的密碼，并chmod 600# chmod 600 /etc/rsync.pas |
5、啟動(dòng)sersync
|
1
|
# ./sersync2 -d -o confxml.xml |
四、測(cè)試認(rèn)證
在客戶端下監(jiān)控目錄/opt/rsync_data/send下添加文件或者刪除，服務(wù)端的接受目錄都會(huì)實(shí)時(shí)地進(jìn)行更新。
在此例中，服務(wù)器iptables和selinux均處于關(guān)閉狀態(tài)。
note: 這種方法同步文件的時(shí)候，同步文件的數(shù)量如果很多，可能會(huì)有部分文件在同步過程中缺失。查閱相關(guān)資料后，找到了如下的解決方案。由于本例中，使用的是xinetd方式啟動(dòng)的rsync服務(wù)，在xinetd的配置文件中，修改幾個(gè)參數(shù)如下：
# vim /etc/xinetd.conf
修改幾個(gè)參數(shù)：
|
1
2
3
|
cps = 500 30instances = UNLIMITEDper_source = UNLIMITED |
總結(jié)
以上所述是小編給大家介紹的Sersync+Rsync實(shí)現(xiàn)觸發(fā)式文件同步，希望對(duì)大家有所幫助，如果大家有任何疑問請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)服務(wù)器之家網(wǎng)站的支持！
原文鏈接：http://www.cnblogs.com/bugsbunny/p/7526962.html
