rsync远程同步

一只余
83 阅读7分钟

补充知识点：

文件传输工具：ftp samba sftp scp rsync SVN git

一、rsync介绍

rsync简介

一款快速增量备份工具

  • Remote Sync，远程同步

  • 支持本地复制，或者与其他SSH、rsync主机同步

  • rsync（Remote Sync，远程同步）是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，并保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、镜像服务器等应用。

  • rsync 的官方站点的网址是 rsync.samba.org/，目前最新版本是 3.1.3，由 Wayne Davison 进行维护。作为一种最常用的文件备份工具，rsync 往往是 Linux 和 UNIX 系统默 认安装的基本组件之一。

1、 rsync特性

支持拷贝特殊文件，如连接文件、设备等。

可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。

可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变 –p。

可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高（tar-N）。

可以使用rcp、rsh、ssh等方式来配合传输文件（rsync本身不对数据加密）。

可以通过socket（进程方式）传输文件和数据（服务端和客户端）。

支持匿名的活认证（无需系统用户）的进程模式传输，可以实现方便安全的进行数据备份和镜像。

2、rsync同步源服务器

在远程同步任务中，负责发起 rsync 同步操作的客户机称为发起端，而负责响应来自客户机的 rsync 同步操作的服务器称为同步源。

  • 在下行同步（下载）中，同步源负责提供文档的原始位置，发起端应对该位置有读取权限。
  • 在上行同步（上传）中，同步源负责提供文档的目标位置，发起端应对该位置具有写入权限。

rsync [选项] 源服务器位置 本地位置 #下行同步，从源服务器拉数据 rsync [选项] 本地位置 源服务器位置 #上行同步，推数据到源服务器

image.png

二、配置rsync下行同步（定时同步）

基本思路

定时同步 rsync + crontab定时计划性任务

源服务器：192.168.47.102

客户机（发起端）：192.168.47.103

1、 配置源服务器

1.关闭防火墙

 systemctl stop firewalld
 setenforce 0

image.png

rpm -q rsync

image.png

image.png

修改配置文件

#建立/etc/rsyncd.conf 配置文件
vim /etc/rsyncd.conf		#添加以下配置项
uid = root  （这个用户是什么，运行文件用户也应该写这个）
gid = root
use chroot = yes		#禁锢在源目录
address = 192.168.80.10			#监听地址
port = 873			#监听端口 tcp/udp 873，可通过cat /etc/services | grep rsync查看
log file = /var/log/rsyncd.log			#日志文件位置
pid file = /var/run/rsyncd.pid		      #存放进程 ID 的文件位置
hosts allow = 192.168.80.0/24		   #允许访问的客户机地址
dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z	#同步时不再压缩的文件类型

[wwwroot]			#共享模块名称
path = /var/www/html		#源目录的实际路径
comment = Document Root of www.kgc.com
read only = yes					#是否为只读
auth users = backuper				#授权账户，多个账号以空格分隔
secrets file = /etc/rsyncd_users.db	     #存放账户信息的数据文件

#如采用匿名的方式，只要将其中的“auth users”和“secrets file”配置项去掉即可。

image.png

image.png

image.png

mkdir -p /var/www/html
#创建目录

ll /var/www/html -d 
#查看是否有可读权限

如果没有：chmod a+r /var/www/html 加可读权限

image.png

#启动 rsync 服务程序
rsync --daemon				#启动 rsync 服务，以独立监听服务的方式（守护进程）运行 

netstat -anpt | grep rsync

image.png

 #关闭 rsync 服务
kill $(cat /var/run/rsyncd.pid) 
rm -rf /var/run/rsyncd.pid  #进程文件

同步源服务器搭建完毕上

2.发起端配置

cd /var/www/html/
[root@mysql2 html]# cp /etc/fstab  .
[root@mysql2 html]# cp /etc/passwd  .
[root@mysql2 html]# cp /etc/shadow  .
[root@mysql2 html]# cp -r /etc/yum.repos.d/ .
[root@mysql2 html]# ls -R

image.png

[root@mysql3 ~]# systemctl stop firewalld 

[root@mysql3 ~]# setenforce 0

image.png

将源服务器7-2/var/www/html下面的文件同步到7-3客户机/opt/data下面

image.png

基本格式：rsync [选项] 原始位置 目标位置


常用选项：
-r：递归模式，包含目录及子目录中的所有文件。
-l：对于符号链接文件仍然复制为符号链接文件。
-v：显示同步过程的详细（verbose）信息。
-z：在传输文件时进行压缩（compress）。
-a：归档模式，保留文件的权限、属性等信息，等同于组合选项“-rlptgoD”。
-p：保留文件的权限标记。
-t：保留文件的时间标记。
-g：保留文件的属组标记（仅超级用户使用）。
-o：保留文件的属主标记（仅超级用户使用）。
-H：保留硬连接文件。
-A：保留 ACL 属性信息。
-D：保留设备文件及其他特殊文件。
--delete：删除目标位置有而原始位置没有的文件。
--checksum：根据校验和（而不是文件大小、修改时间）来决定是否跳过文件。

md5sum 文件校验核 :如果有文件被改动可以用此命令查看

格式一：rsync -avz yhy@192.168.47.102::www /opt/data

image.png

image.png

格式二：

image.png

rsync -avz rsync://yhy@192.168.47.102/www /opt/data/
做增量备份复制

image.png

免交互格式配置做计划性任务

image.png

image.png

方法1：源服务器验证delete 选项

image.png

 rsync -avz --delete --password-file=/opt/rsync_passwd yhy@192.168.47.102::www  /opt/data/

image.png

方法2计划性任务

image.png

 */5 * * * * /usr/bin/rsync -az --delete --password-file=/opt/rsync_passwd yhy@192.168.47.102::www  /opt/data/

image.png

补充

rsync + ssh 配合进行同步

rsync -avz -e 'ssh -p 22' /var/www/html/index.html root@192.168.47.103:/opt/data

例：rsync -avz -e 'ssh -p 22' /etc/yum.repos.d/  root@192.168.47.103:/opt/data
    rsync -avz -e 'ssh -p 22' /etc/yum.repos.d  root@192.168.47.103:/opt/data

image.png

image.png

总结：

rsync [选项] 源服务器位置 本地位置     #下行同步，从源服务器拉数据
rsync [选项] 本地位置 源服务器位置     #上行同步，推数据到源服务器

免交互

rsync -avz --delete --password-file=/opt/userlist yiliangchen@192.168.80.30::wwwky31  /opt/data/          
#rsync-daemon方式

 rsync -avz --delete -e 'sshpass -p abc1234 ssh -p 22' /etc/yum.repos.d root@192.168.80.20:/opt/data     
 #rsync-ssh方式

三、 rsync上行同步（实时同步）

1、关于inotify

Linux内核的inotify机制

  • 从版本2.6.13开始提供

  • 可以监控文件系统的变动情况，并做出通知响应

  • 辅助软件：inotify-tools

image.png

1．修改rsync源服务器配置文件

vim /etc/rsyncd.conf
......
read only = no											#关闭只读，上行同步需要可以写

kill $(cat /var/run/rsyncd.pid)
rm -rf /var/run/rsyncd.pid
rsync --daemon	
netstat -anpt | grep rsync

#创建一个同步目录，并修改权限 
mkdir /data 
chmod 777 /data

image.png

image.png

image.png

  1.  修改发起端与源服务端inotify内核参数

在Linux内核中，默认的inotify机制提供了三个调控参数：max_queue_events（监控事件队列，默认值为16384）、max_user_instances（最多监控实例数，默认值为128）、max_user_watches（每个实例最多监控文件数，默认值为8192）。当要监控的目录、文件数量较多或者变化较频繁时，建议加大这三个参数的值。

cat /proc/sys/fs/inotify/max_queued_events
cat /proc/sys/fs/inotify/max_user_instances
cat /proc/sys/fs/inotify/max_user_watches

vim /etc/sysctl.conf
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576

sysctl -p

image.png

image.png

image.png

image.png

3． 客户端与原服务端都安装inotify-tools

用 inotify 机制还需要安装 inotify-tools，以便提供 inotifywait、inotifywatch 辅助工具程序，用来监控、汇总改动情况。 inotifywait：可监控modify（修改）、create（创建）、move（移动）、delete（删除）、attrib（属性更改）等各种事件，一有变动立即输出结果。 inotifywatch：可用来收集文件系统变动情况，并在运行结束后输出汇总的变化情况。

tar zxvf inotify-tools-3.14.tar.gz -C /opt/

cd /opt/inotify-tools-3.14
./configure
make && make install

image.png

image.png

image.png

image.png

image.png

测试一下工具的使用

#可以先执行“inotifywait”命令，然后另外再开启一个新终端向 /var/www/html 目录下添加文件、移动文件，在原来的终端中跟踪屏幕输出结果。
inotifywait -mrq -e modify,create,move,delete /var/www/html
监控 /var/www/html这个目录

#选项“-e”：用来指定要监控哪些事件
#选项“-m”：表示持续监控
#选项“-r”：表示递归整个目录
#选项“-q”：简化输出信息

image.png

image.png

4．在另外一个终端编写触发式同步脚本（注意，脚本名不可包含 rsync 字符串，否则脚本可能不生效）

 vim /opt/inotify.sh 
 #!/bin/bash
 ​
 #定义inotifywait监控/data目录中文件事件的变量。attrib表示属性变化。
 INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /opt/data"
 ​
 #定义执行 rysnc 上行同步的变量。--delete保证两边目录内容一致，可以不加。
 RSYNC_CMD="rsynC -azH --delete --password-file=/etc/server.pass /opt/data lzq@192.168.223.100::wwwlzq/"
 ​
 #使用while、read持续获取监控结果，根据结果可以作进一步判断是否读取到输出的监控记录
 $INOTIFY_CMD | while read DIRECTORY EVENT FILE 
 do
    #如果rsync未在执行，则立即启动
    if[ $(pgrep rsync | wc -l) -le 0 ];then
         $RSYNC_CMD
    fi
 done
 ​
 chmod +8 /opt/inotify.sh
 ​
 chmod +x /etc/rc.d/rc.local     #开机自启脚本文件
 echo '/opt/inotify.sh' >> /etc/rc.d/rc.local  #加入开机自动执行
 ​
 #之后运行脚本（后台运行）
 cd /opt/
 ./inotify.sh &
 ​
 #之后在发起端创建文件，查看源服务器中是否新增了

#脚本
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /opt/data"
RSYNC_CMD="rsynC -azH --delete --password-file=/opt/rsync.passwd /opt/data yhy@192.168.47.102::www"
$INOTIFY_CMD | while read DIRECTORY EVENT FILE 
do

   if [ $(pgrep rsync | wc -l) -le 0 ];then
         $RSYNC_CMD
fi
done

1.先给我们的共享文件所有用户都可读可写

image.png

2.在客户端编写脚本

image.png

image.png

3.我们在客户端测试添加一个文件查看我们的源服务器是否有同步

image.png

image.png

  1. 设置开机自启，并后台运行
chmod +x /opt/inotify.sh
chmod 777 /var/www/html/
chmod +x /etc/rc.d/rc.local
echo '/opt/inotify.sh' >> /etc/rc.d/rc.local

六、使用rsync快速删除大量文件

假如要在linux下删除大量文件，比如100万、1000万，像/usr/local/nginx/proxy_temp的nginx缓存等，那么rm -rf * 可能就不好用了，因为要等待很长一段时间。

在这种情况下我们可以使用rsync来巧妙处理。

rsync实际用的是替换原理。

1.我们先模拟出需要删除的多文件

image.png

2.我们使用rsync来快速删除，先创建一个空目录

image.png

3.使用rsync进行删除

image.png

 #先建立一个空的文件夹：
 mkdir /home/blank
 ​
 #用rsync删除目标目录：
 rsync --delete-before -a -H -v --progress --stats /home/blank/ /usr/local/nginx/proxy_temp
 
 #这样目标目录很快就被清空了

选项说明：

选项作用
--delete-before接收者在传输进行删除操作
-a归档模式，表示以递归方式传输文件，并保持所有文件属性
-H保持硬连接的文件
-v详细输出模式
--progress在传输时显示传输过程
--stats给出某些文件的传输状态

补充知识

今天我们来测试一下Linux下面删除大量文件的效率。

首先建立50万个文件

$ test   for i in $(seq 1 500000);do echo text >>$i.txt;done

rm删除

$ time rm -f *
zsh: sure you want to delete all the files in /home/hungerr/test [yn]? y
zsh: argument list too long: rm
rm -f *  3.63s user 0.29s system 98% cpu 3.985 total
由于文件数量过多，rm不起作用。

find删除

$ time find ./ -type f -exec rm {} ;
find ./ -type f -exec rm {} ;  49.86s user 1032.13s system 41% cpu 43:19.17 total
大概43分钟,我的电脑。。。。。。边看视频边删的。

find with delete

$ time find ./ -type f -delete
find ./ -type f -delete  0.43s user 11.21s system 2% cpu 9:13.38 total
用时9分钟。

rsync删除

# 首先建立空文件夹blanktest
$ time rsync -a --delete blanktest/ test/
rsync -a --delete blanktest/ test/  0.59s user 7.86s system 51% cpu 16.418 total
16s，很好很强大。

Python删除

import os
import timeit
def main():
    for pathname,dirnames,filenames in os.walk('/home/username/test'):
        for filename in filenames:
            file=os.path.join(pathname,filename)
            os.remove(file)

if __name__=='__main__':
t=timeit.Timer('main()','from __main__ import main')
print t.timeit(1)　　
1
2
$ python test.py
529.309022903
大概用时9分钟。

Perl删除

$ time perl -e 'for(<*>){((stat)[9]<(unlink))}'
perl -e 'for(<*>){((stat)[9]<(unlink))}'  1.28s user 7.23s system 50% cpu 16.784 total
16s，这个应该最快了。

结果：

rm：文件数量太多，不可用
find with -exec 50万文件耗时43分钟
find with -delete 9分钟
Perl  16s
Python 9分钟
rsync with -delete  16s

结论：删除大量小文件rsync最快，最方便。

avatar
文章
阅读
粉丝