标签归档:实时同步

如何使用Lsyncd复制并实时同步到远程服务器

何为Lsyncd?

Lsyncd 官网 //axkibe.github.io/

Lsyncd监视本地目录树事件监视器接口(inotify或fsevents)。它聚合并将事件组合在一起几秒钟,然后生成一个(或多个)进程来同步这些更改。默认情况下,由rsync实现同步。因此,Lsyncd是一种轻量级的实时镜像解决方案,相对容易安装,不需要新的文件系统或块设备,也不会妨碍本地文件系统的性能。

Rsync+ssh是一种高级操作配置,它使用ssh来执行文件和目录直接在目标上移动,而不是在线路上重新传输移动目标。细粒度的定制可以通过配置文件实现。自定义动作configs甚至可以从头编写,从shell脚本到Lua语言编写的代码。这种方法简单,强大,灵活的配置可以被解决。

Lsyncd 2.2.2要求在所有源和目标机器上rsync >= 3.1

系统环境:

RenwoleServer:10.28.204.65 服务端
RenwoleClient:10.28.204.66 客户端
OS:CentOS Linux release 7.4.1708 (Core) x64

1.rsync的安装

请参阅:《CentOS 7配置Rsync数据文件同步服务器》。

2.安装扩展依赖包

$ yum install -y gcc gcc-c++ lua lua-devel cmake libxml2 libxml2-devel

3.源代码编译安装lsyncd

$ wget //github.com/axkibe/lsyncd/archive/release-2.2.2.tar.gz
$ tar xvf release-2.2.2.tar.gz
$ cd lsyncd-release-2.2.2
$ cmake -DCMAKE_INSTALL_PREFIX=/usr/local/lsyncd
$ make && make install
$ ln -s /usr/local/lsyncd/bin/lsyncd /usr/bin/lsyncd

安装过程可能报错:

-- Configuring incomplete, errors occurred!

安装lua-devel即可。

4.设置无密码SSH登录

因为这里使用rsyncssh进行同步,所以还需要配置root账号无密码ssh登录。详细配置请参阅:

如何在Linux中设置SSH无密码登录

5.配置lsyncd

以下是三种常用配置案例

1.远程同步rsyncssh模式配置方案:

$ vim /etc/lsyncd.conf
settings {
    logfile = "/var/log/lsyncd.log",          --日志路径
    statusFile = "/var/log/lsyncd.status",    --状态文件
    pidfile = "/var/run/lsyncd.pid",          --pid文件路径
    statusInterval = 1,                       --状态文件写入最短时间
    nodaemon = false,                         --daemon运行
    maxProcesses = 1,                         --最大进程
    maxDelays = 1,                            --最大延迟
}
sync {
    default.rsyncssh,      --默认rsync+ssh,rsync版本需要升级3以上版本
    source = "/apps/www/renwoleblog/",        --源目录
    delete = true,                            --保持完全同步        
    host = "root@10.28.204.66",         
    targetdir = "/apps/www/renwoleblog/bak/", --目标目录
    exclude={                 
             ".txt"            --需排除的文件
    },
rsync = {
    binary = "/usr/bin/rsync", --需先安装好rsync
    archive = true,            --归档
    compress = false,          --压缩
    owner = true,              --属主
    perms = true,              --权限
    whole_file = false
    },
ssh = {
    port = 22
    }
}

2.本地目录同步配置方案:

sync {
    default.rsync,
    source = "/apps/www/renwoleblog/",
    target = "/apps/www/renwoleblog/bak/",
}

3.远程同步rsync-daemon模式配置方案

sync {
    default.rsync,
    source    = "/apps/www/renwoleblog/",
    target    = "renwole@10.28.204.65::renwolecom",
    delete="true",
    exclude = { ".bak*" },
    delay = 30,
    init = false,
    rsync = {
    binary = "/usr/bin/rsync",
    archive = true,
    compress = true,
    verbose   = true,
    perms = true,
    password_file = "/etc/rsync.password",
    _extra    = {"--bwlimit=200"}
    }
}

重点参数说明:

--        # 注释符
settings  # 是全局配置
sync      # 定义同步参数
rsync     # 定义同步文件参数
ssh       # 定义服务器远程端口

lsyncd配置文件允许多个sync互不影响。

说明:如果是一对多,请参阅本地同步,修改目标目录即可。

6.创建systemctl系统单元文件

为了实现systemctl进行管理,请创建配置文件以及脚本启动文件,命令如下:

$ vim /etc/sysconfig/lsyncd

添加如下内容:

LSYNCD_OPTIONS="/etc/lsyncd.conf"

创建启动文件:

$ vim /usr/lib/systemd/system/lsyncd.service

添加如下内容:

[Unit]
Description=Live Syncing (Mirror) Daemon
After=network.target

[Service]
Type=simple
EnvironmentFile=-/etc/sysconfig/lsyncd
ExecStart=/usr/local/lsyncd/bin/lsyncd -nodaemon $LSYNCD_OPTIONS

[Install]
WantedBy=multi-user.target

7.启动lsyncd并加入开机自启动

$ systemctl start lsyncd
$ systemctl enable lsyncd

接下来你就可以往源服务器/apps/www/renwoleblog/内上传任意文件,完成后立刻就会同步到客户端 10.28.204.66 /apps/www/renwoleblog/bak/目录内,也可以查看服务端的lsyncd日志文件分析是否同步成功。例如:

[root@RenwoleServer ~] $ cat /var/log/lsyncd.log
...
Fri Dec 22 01:19:22 2017 Normal: Calling rsync with filter-list of new/modified files/dirs
/PCHunter_renwole.com.tar.gz
/
Fri Dec 22 01:19:24 2017 Normal: Finished (list): 0
Fri Dec 22 01:19:32 2017 Normal: Calling rsync with filter-list of new/modified files/dirs
/PCHunter_renwole.com.tar.gz
/
Fri Dec 22 01:19:34 2017 Normal: Finished (list): 0
Fri Dec 22 01:19:34 2017 Normal: Calling rsync with filter-list of new/modified files/dirs
/PCHunter_renwole.com.tar.gz
/
Fri Dec 22 01:19:36 2017 Normal: Finished (list): 0

日志内容显示PCHunter_renwole.com.rar文件成功同步。

另外lsyncd是基于inotify + rsync的开源同步软件,相对于其他同步软件更加安全可靠,占用资源更少,但配置略麻烦。
lsyncd 还支持当监控到某个指定事件时就执行什么样的命令,由于是通过时间延迟和累计事件命中次数来触发同步,在设计上要优于inotify,另外他的同步速度完全取决于你的网络质量。

CentOS 7配置Rsync数据文件同步服务器

何为Rsync?

Rsync是一个非常灵活的命令行网络同步工具,由于它在Linux和类unix系统上的普及,使它被默认包含在大多数Linux发行版中。它在同步文件或文件夹的同时,可以保持原来文件的权限、时间、软硬链接等附加信息, 它可以快速安全的传输数据,并且支持增量更新,传输数据的过程中可以实行压缩及解压缩操作,因此可以使用更少的带宽,不仅如此它还是开源软件。

环境:

RenwoleServer:10.28.204.65 服务端
RenwoleClient:10.28.204.66 客户端
OS:CentOS Linux release 7.4.1708 (Core) x64

1.分别在服务器端和客户端安装rsync

由于部分Linux发行版默认已安装rsync,但使用的版本 rsync 3.0.9-18.el7 有些旧,所以需手动安装最新版,请看以下具体操作:

2.安装rsync

如已默认安装,请卸载旧版本:

$ yum remove rsync -y

安装rsync有2种方式:

RPM方式的好处,快速、方便、节时,具体安装如下:

$ yum -y install epel-release
$ wget //mirror.ghettoforge.org/distributions/gf/gf-release-latest.gf.el7.noarch.rpm
$ rpm -Uvh gf-release*rpm
$ yum --enablerepo=gf-plus install rsync -y

rsync文件:

/etc/rsyncd.conf
/etc/sysconfig/rsyncd
/etc/xinetd.d/rsync
/usr/bin/rsync
/usr/share/doc/rsync-3.1.2/COPYING
......

源码安装(推荐)

此种安装方法的好处不但自定义方便,还可使用最新安装包。

安装依赖并下载源码包,编译安装:

$ cd /tmp
$ yum install gcc c++ -y
$ wget //download.samba.org/pub/rsync/rsync-3.1.2.tar.gz
$ tar zxvf rsync-3.1.2.tar.gz
$ cd rsync-3.1.2
$ ./configure --prefix=/usr/local/rsync
$ make -j8 && make install
$ ln -s /usr/local/rsync/bin/rsync /usr/bin/rsync

设置rsync自启动脚本

源码安装需手动将rsync默认提供的脚本拷贝到系统目录,这样才能使用systemctl管理:

$ cp /tmp/rsync-3.1.2/packaging/systemd/* /usr/lib/systemd/system

说明:源代码编译安装,没有/etc/rsyncd.conf主配置文件,需要手动创建,RPM安装方式会自动生成,但都需要根据需求重新配置。

两种安装方式不管使用哪种方法都可以安装成功。

下面将介绍rsync配置篇(以源代码编译安装配置为例)。

3.关于rsync认证方式

rsync有2种常用的认证方式,一种是rsync-daemon,另一种是SSH。在生产环境中,通常使用rsync-daemon认证模式。

认证模式说明:

1.rsync-daemon认证:默认监听TCP的873端口。前提是双方都需要安装rsync,客户端可不启动rsync服务,但需要简单的配置。服务器端需要启动且需在服务器端配置rsync。

2.SSH认证:通过系统用户认证,即在rsync上通过SSH隧道进行传输,前提是需要服务器端与客户端建立无密码登录,可参阅这里《如何在Linux中设置SSH无密码登录》。无需服务器与客户端配置rsync,也无需启动rsync服务,只需双方都安装rsync即可。

4.设置rsync服务端密码 10.28.204.65

本教程使用rsync-daemon认证方式。创建访问密码,格式为 用户名:密码,一行一个,明文。

$ echo "renwole:renwolecom"  >>/etc/rsync.password
$ chmod 600 /etc/rsync.password

5.配置rsync服务端 10.28.204.65

配置完成后的内容如下:

$ cat /etc/rsyncd.conf

uid = root               # 运行RSYNC守护进程的用户
gid = root               # 运行RSYNC守护进程的组
port = 873               # 默认端口
#address = 10.28.204.65  # 服务器IP地址
# pid file = /var/run/rsyncd.pid   # 进程启动后,进程号存放路径
lock file = /var/run/rsync.lock  # 设置锁文件名称
log file = /var/log/rsyncd.log     # 指定rsync的日志文件

use chroot = no          # 不使用chroot
read only = yes          # 只读,不让客户端上传文件到服务器
transfer logging = yes   # 将传输操作记录到传输日志文件

hosts allow=10.28.204.66           # 允许哪些主机访问(多个以空格隔开)
hosts deny=*                       # 拒绝哪些主机访问
max connections = 3                # 最大连接数
# motd file = /etc/rsyncd.motd     # 登陆欢迎信息(生产环境不建议)

log format = %t %a %m %f %b        # 指定日志记录的格式
syslog facility = local3           # 消息级别
timeout = 600                      # 会话超时时间。

[renwolecom]             # 模块的名称,可以自定义
path = /apps/www         # 需要同步的目录
list=yes                 # 是否允许用户列出文件,默认为true
ignore errors            # 忽略错误信息
# exclude = myrenwole/   # 不同步的目录(多个以空格隔开)
comment = RenwoleCombak  # 注释内容,任意
auth users = renwole     # 那些用户才允许连接该模块,多个以,隔开
secrets file = /etc/rsyncs.pass    # 认证时所需的密码文件

更多配置请参阅://www.gsp.com/cgi-bin/man.cgi?topic=rsyncd.conf

两个注意说明

注意:如果你拷贝以上配置项,请去掉注释说明,否则可能会出现未知问题。
注意:全局配置中的选项对所有模块有效;模块下定义的仅对当前模块有效;另外,模块中定义选项值优先于全局配置。

6.设置firewall防火墙

$ firewall-cmd --add-port=873/tcp --permanent
$ firewall-cmd --add-port=873/udp --permanent
$ firewall-cmd --reload

7.配置rsync客户端 10.28.204.66

客户端无需配置模块,也无需启动服务,配置文件只需简单配置即可,例如:

$ vim /etc/rsyncd.conf

uid = nobody
gid = nobody
use chroot = no
max connections = 10
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock
log file = /var/log/rsyncd.log
port = 873
secrets file = /etc/client.pass

8.在客户端设置密码 10.28.204.66

添加密码并设置权限:

$ echo "renwolecom"  >>/etc/client.pass
$ chmod 600 /etc/client.pass

说明:只需添加服务端的密码即可,无需用户。

9.启动并加入开机自启动

$ systemctl start rsync
$ systemctl enable rsync
$ systemctl list-unit-files

10.测试rsync文件同步

rsync客户端 10.28.204.66 连接服务端测试

$ /usr/bin/rsync -avzrtopg --progress --delete --password-file=/etc/client.pass renwole@10.28.204.65::renwolecom /apps/www

客户端连接参数说明:

-avzrtopg 拆分讲解:

a # 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD;
v # 详细模式输出;
z # 对备份的文件在传输时进行压缩处理;
r # 对子目录以递归模式处理;
topg       # 保持原文件属性如属主、时间的参数。

--progress # 显示详细的同步进度情况。
--delete   # 若服务端端删除了这一文件,客户端也相应删除,保持文件一致。

更多参数请查看rsync帮助:

$ /usr/bin/rsync -h

最后是问题总结

可能的报错信息:

@ERROR: auth failed on module renwole

此报错有两种原因导致:

1.要么在服务端配置的用户密码不正确导致。
2.要么就是服务器和客户端的密码文件不是600权限所致。

rsync: failed to connect to 10.28.204.65 (10.28.204.65): No route to host (113)
rsync error: error in socket IO (code 10) at clientserver.c(125) [Receiver=3.1.2]

此种无法连接到rsync服务端报错只有一种情况:

1.防火墙并未放行873端口或服务未启动,解决:关闭防火墙或放行端口即可。

启动如果报错,多看看日志,就知道解决的方法了。

如果你觉得配置比较麻烦,建议您使用lsyncd,此工具更好用,请参考:

如何使用Lsyncd复制并实时同步到远程服务器