欢迎来到云服务器

系统配置

Linux系统主动触发式文件同步的实现要领

当各人利用阿里云的SLB的时候就会碰着文件同步的问题,一般我们会选择Rsync举办按期同步,单这样的同步频率和效率对业务影响往往较大,因此这里简朴先容下Linux下触发同步的实现方法以及其他在该特性基本上实现文件防改动的方法。

 

一、什么是rsync

Rsync(remotesynchronize)是一个长途数据同步东西,可通过 LAN/WAN 快速同步多台主机间的文件。Rsync 利用所谓的“Rsync 算法”来使当地和长途两个主机之间的文件到达同步,这个算法只传送个文件的差异部门,而不是每次都整份传送,因此速度相当快。rsync 同时也在拷贝文件时,加--partial可支持断点续传,比cp要许多几何了,同时也rsync也可以拷贝链接文件,directadmin安装 directadmin汉化,这一点是cp做不到的。

 

二、什么是inotify

inotify 是文件系统事件监控机制,作为 dnotify 的有效替代。dnotify 是较早内核支持的文件监控机制。Inotify 是一种强大的、细粒度的、异步的机制,它满意各类百般的文件监控需要,不只限于安详和机能。

 

三、设置rsync + inotify触发式同步

前提条件,linux内核版本高于2.6.13才气支持inotify特性

由于执行剧本需要输入方针处事器口令,因此我们需要先设置无暗码登录

执行ssh-keygen -t rsa,一路回车生成公钥与密钥

执行ssh-copy-id -i~/.ssh/id_rsa.pub root@被控端IP 拷贝公钥到被控端

 
需要输入被控端暗码 
 
 
下载所需的措施: 
Inotify-toolshttps://github.com/rvoicilas/inotify-tools/wiki 
Rsynchttp://rsync.samba.org/ftp/rsync 
 
 
安装所需措施: 
tarzxvf rsync-3.1.1.tar.gz 
cdrsync-3.1.1 
./configure–prefix=/usr/local/rsync 
make&& make install 
tarzxvf inotify-tools-3.14.tar.gz 
cdinotify-tools-3.14 
./configure 
make&& make install 
 
 
设置同步剧本(以下内容生存为sh文件,譬喻rsync.sh): 
#!/bin/sh 
#源目次 
src=/home/wwwroot/ 
#方针目次 
des=/home/wwwroot 
#方针IP 
ip=192.168.1.2 
ip2=192.168.1.3 
#配置inotifywait可以监督的文件数量 
echo 50000000 >/proc/sys/fs/inotify/max_user_watches 
#配置inotify实例事件(event)行列可容纳的事件数量 
echo 327679 >/proc/sys/fs/inotify/max_queued_events 
 
/usr/local/bin/inotifywait -mrq--timefmt '%d/%m/%y %H:%M' --format  '%T%w%f' -e modify,delete,create,attrib ${src} | while read  file 
       do 
                rsync -avz --delete --progress${src} root@${ip}:${des} && 
                echo "${src} wasrsynced" 
                echo"-----------------------------------------------------" 
                rsync -avz --delete --progress${src} root@${ip2}:${des} && 
                echo "${src} wasrsynced" 
                echo"-----------------------------------------------------" 
       done 
将剧本添加到随机启动文件/etc/rc.local中,执行nohup sh rsync.sh &即靠山执行 
 
 
脚内情存眷释: 
   -m 是保持一直监听 
   -r 是递归查察目次 
   -q 是打印失事件~ 
   rsync -aHqzt $SRC $DST 
   -a 存档模式 
   -H 生存硬毗连 
   -q 避免非错误信息 
   -z 压缩文件数据在传输 
   -t 维护修改时间 
   -delete 删除于多余文件 
当要倾轧同步某个目次时,为rsync添加--exclude=PATTERN参数,留意,路径是相对路径。具体查察man rsync 
当要解除都某个目次的事件监控的处理惩罚时,为inotifywait添加--exclude或--excludei参数。具体查察man inotifywait 
 
 
留意:inotifywait可以监督文件的行动有: 
        access         文件或目次的内容被读 
        modify         文件或目次的内容被写 
        attrib          文件或目次的属性被修改 
        close_write     文件或目次以可写模式封锁 
        close_nowrite   文件或目次以只读模式封锁 
        close           文件或目次封锁,不管是什么模式 
        open            文件或目次被打开 
        moved_to        文件或目次移入监控目次 
        moved_from      文件或目次移出监控目次 
        move            文件或目次移动 
        create           文件或目次建设 
        delete          文件或目次在监控目次中删除 
        delete_self       文件或目次删除 
        unmount         未挂载的文件或目次 
 
 
四、其他 
1、高效触发式同步软件sersync2 
下载地点:https://code.google.com/p/sersync/downloads/list 
措施包括2个文件:confxml.xml设置文件和sersync2执行措施 
 
 
设置文件说明: 
修改sshstart="true'以SSH方法传输文件 
<rsync> 
     <sshstart="true"/> 
</rsync> 
开启文件过滤 
<filter start="true"> 
<excludeexpression="^info/*"></exclude> 
<excludeexpression="(.*).gz"></exclude> 
</filter> 
同步源目次和方针目次配置 
<localpath watch="/home/wwwroot"> 
<remote ip="192.168.1.2"name="/home/wwwroot"/> 
</localpath> 
 
 
执行措施: 
执行前假如是SSH传输先设置好SSH免暗码登岸 
./sersync2–d 靠山执行 
./sersync2–r 先执行一次完整同步 
./sersync2–o confxml.xml 指定设置文件 
./sersync2–n num 指定线程数,默认10个线程 
 
 
监控措施: 
checksersync.sh 
执行后会判定历程中是否有sersync2存在,没有就自动执行 
假如有修悔改设置文件名称,那么相应监控剧本内也需要修改对应 
 
 
2、防改动的实现 
通过Inotiry和Rsync我们可以实现文件同步,按照Inotiry的特性我们也可以实现文件的放改动,要领是将剧本中SCP反向传输即可,譬喻: 
rsync -avz --delete --progressroot@${ip}:${des} ${src} && 
 
实现图例: 
WEB处事器检测到行为1执行行为2 
防改动源处事器检测到行为3执行行为2 
腾讯云代理

Copyright © 2003-2021 MFISP.COM. 国外vps服务器租用 梦飞云服务器租用 版权所有 粤ICP备11019662号