inotify rsync文件實(shí)時(shí)同步

1、Linux下inotify+rsync文件實(shí)時(shí)同步一、使用背景與傳統(tǒng)的cp、tar備份方式相比,rsync具有安全性高、備份迅速、支持增量備份等優(yōu)點(diǎn),通過(guò)rsync可以解決對(duì)實(shí)時(shí)性要求不高的數(shù)據(jù)備份需求,例如定期的備份文件服務(wù)器數(shù)據(jù)到遠(yuǎn)端服務(wù)器,對(duì)本地磁盤定期做數(shù)據(jù)鏡像等。隨著應(yīng)用系統(tǒng)規(guī)模的不斷擴(kuò)大,對(duì)數(shù)據(jù)的安全性和可靠性也提出的更好的要求,rsync 在高端業(yè)務(wù)系統(tǒng)中也逐漸暴露出了很多不足,首先,rsync同步數(shù)據(jù)時(shí),需要掃描所有文件后進(jìn)行比對(duì),進(jìn)行差量傳輸。如果文件數(shù)量達(dá)到了百萬(wàn)甚至千萬(wàn)量級(jí),掃描所有文件將是非常耗時(shí)的。而且正在發(fā)生變化的往往是其中很少的一部分,這是非常低效的方式。其次,r

2、sync不能實(shí)時(shí)的去監(jiān)測(cè)、同步數(shù)據(jù),雖然它可以通過(guò)linux守護(hù)進(jìn)程的方式進(jìn)行觸發(fā)同步,但是兩次觸發(fā)動(dòng)作一定會(huì)有時(shí)間差,這樣就導(dǎo)致了服務(wù)端和客戶端數(shù)據(jù)可能出現(xiàn)不一致,無(wú)法在應(yīng)用故障時(shí)完全的恢復(fù)數(shù)據(jù)?；谝陨显?rsync+inotify 組合出現(xiàn)了!二、相關(guān)介紹Inotify 是一個(gè)Linu x 內(nèi)核特性,它監(jiān)控文件系統(tǒng),并且及時(shí)向?qū)ｉT的應(yīng)用程序發(fā)出相關(guān)的事件警告,比如刪除、讀、寫和卸載操作等(必須有不低于2.6.13的內(nèi)核版本 rsync是類unix系統(tǒng)下的數(shù)據(jù)鏡像備份工具remote sync。一款快速增量備份工具Remote Sync,遠(yuǎn)程同步支持本地復(fù)制,或者與其他SSH、rsync

3、主機(jī)同步三、環(huán)境描述配置環(huán)境:centos 6.5Rsync版本:rsync-3.0.6Inotify版本:inotify-tools-3.13服務(wù)器端:192.168.1.3客戶端:192.168.1.4四、安裝與配置rsync1、安裝rsync服務(wù)端yum install rsync xinetd2、編輯配置文件,設(shè)置開機(jī)啟動(dòng)rsyncvi /etc/xinetd.d/rsync #將disable后的參數(shù)改為no3、創(chuàng)建rsyncd.conf配置文件vi /etc/rsyncd.confuse chroot=no #默認(rèn)為true,修改為no,增加對(duì)目錄文件軟連接的備份max conne

4、ctions=4 #最大連接數(shù)位4pid file=/var/run/rsyncd.pid #pid文件的存放位置log file=/var/log/rsyncd.log #日志文件的位置lock file=/var/run/rsync.lock #支持max connections參數(shù)的鎖文件roothome #自定義名稱uid=root #設(shè)置rsync運(yùn)行權(quán)限為rootgid=root #設(shè)置rsync運(yùn)行權(quán)限為rootpath=/var/roothome #rsync服務(wù)端數(shù)據(jù)目錄路徑comment=roothome #模塊名稱與自定義名稱相同ignore errors=yes # r

5、syncd在判斷是否運(yùn)行傳輸時(shí)的刪除操作時(shí)忽略server上的IO錯(cuò)誤,一般來(lái)說(shuō)rsync在出現(xiàn)IO錯(cuò)誤時(shí)將將跳過(guò)-delete操作,以防止因?yàn)闀簳r(shí)的資源不足或其它IO錯(cuò)誤導(dǎo)致的嚴(yán)重問(wèn)題read only=no #設(shè)定是否允許客戶上載文件。如果為yes那么任何上載請(qǐng)求都會(huì)失敗,如果為no并且服務(wù)器目錄讀寫權(quán)限允許那么上載是允許的。默認(rèn)值為yes list=no #用戶請(qǐng)求列出可使用的模塊列表時(shí),該模塊是否被列出auth users=root #指定由空格或逗號(hào)分隔的用戶名列表,只有這些用戶才允許連接該模塊這里的用戶和系統(tǒng)用戶沒(méi)有任何關(guān)系。如果auth users被設(shè)置,那么客戶端發(fā)出對(duì)該模塊的

6、連接請(qǐng)求以后會(huì)被rsync請(qǐng)求challenged進(jìn)行驗(yàn)證身份這里使用的challenge/response認(rèn)證協(xié)議。用戶的名和密碼以明文方式存放在secrets file選項(xiàng)指定的文件中。默認(rèn)情況下無(wú)需密碼就可以連接模塊(也就是匿名方式secrets file=/etc/roothome.pass #指定一個(gè)包含定義用戶名:密碼對(duì)的文件。只有在auth users被定義時(shí),該文件才有作用。文件每行包含一個(gè)username:passwd對(duì)。一般來(lái)說(shuō)密碼最好不要超過(guò)8個(gè)字符。沒(méi)有默認(rèn)的secures file名,需要限式指定一個(gè)(例如: /etc/rsyncd.passwd。注意:該文件的權(quán)限一

7、定要是600,否則客戶端將不能連接服務(wù)器4、創(chuàng)建用戶認(rèn)證文件vi /etc/rsync.passroot:1.q1.q5、設(shè)置文件權(quán)限chmod 600 /etc/rsyncd.conf #設(shè)置文件所有者讀取、寫入權(quán)限chmod 600 /etc/roothome.pass #設(shè)置文件所有者讀取、寫入權(quán)限6、啟動(dòng)rsync/etc/init.d/xinetd start #啟動(dòng)service xinetd stop #停止service xinetd restart #重新啟動(dòng)1、安裝rsync客戶端yum install rsync xinetd2、編輯配置文件,設(shè)置開機(jī)啟動(dòng)rsyncvi

8、/etc/xinetd.d/rsync #將disable后的參數(shù)改為no3、創(chuàng)建密碼認(rèn)證文件(客戶端只需要存在密碼Vi /etc/roothome.txt1.q1.q測(cè)試客戶端是否可以向服務(wù)器上傳數(shù)據(jù) 五、安裝inotify-tools工具,實(shí)現(xiàn)rsync實(shí)時(shí)同步uname a #最小2.6.13內(nèi)核 inotify-tools-3.13.tar.gz1、安裝inotify-toolsyum install make gcc gcc-c+ #安裝編譯工具2、tar zxvf inotify-tools-3.13.tar.gz #解壓cd inotify-tools-3.13#進(jìn)入解壓目錄./

9、configure -prefix=/usr/local/inotify #配置make #編譯make install #安裝3、設(shè)置系統(tǒng)環(huán)境變量,添加軟連接echo PATH=/usr/local/inotify/bin:$PATH /etc/profile.d/inotify.shsource /etc/profile.d/inotify.sh #使設(shè)置立即生效echo /usr/local/inotify/lib /etc/ld.so.conf.d/inotify.confln -s /usr/local/inotify/include /usr/include/inotify4、修改

10、inotify默認(rèn)參數(shù)(inotify默認(rèn)內(nèi)核參數(shù)值太小修改參數(shù):sysctl -w fs.inotify.max_queued_events=99999999sysctl -w fs.inotify.max_user_watches=99999999sysctl -w fs.inotify.max_user_instances=65535vi /etc/sysctl.conf #添加以下代碼fs.inotify.max_queued_events=99999999 #inotify隊(duì)列最大長(zhǎng)度f(wàn)s.inotify.max_user_watches=99999999 #要同步的文件包含多少目錄fs.inotify.max_user_instances=65535 #每個(gè)用戶創(chuàng)建inotify實(shí)例最大值5、創(chuàng)建腳本,實(shí)時(shí)觸發(fā)rsync進(jìn)行同步 rsync.sh六、因?yàn)樵谥暗膔sync