python备份脚本|8月更文挑战

404 阅读3分钟

编写backup.py脚本,实现以下目标:

  1. 需要支持完全和增量备份
  2. 周一执行完全备份
  3. 其他时间执行增量备份
  4. 备份文件需要打包为tar文件并使用gzip格式压缩

整体框架创建3个函数,分别实现完全备份、增量备份、文件加密3种功能:

1.首先导入time模块,利用if进行判断,如果当地时间是星期一,执行完全备份函数,否则执行增量备份函数,其中,通配符%a代表时间星期几缩写,上传参数分别为要备份的原目录、目标目录、md5字典存放目录

2.调用完全备份函数:

a)首先获取新文件名,将新文件名放入目标目录下,目的是定义备份文件的绝对路径,以写压缩方式打开目标目录下新文件,将原目录写入新文件中,完成完全备份,其中os.path.join作用是将目录名和文件的基名拼接成一个完整的路径

b)了解os.walk()目录遍历器输出文件结构,利用for循环将要备份原目录中文件遍历出来作为字典键值对键, md5加密结果作为字典键值对的值(此时将原目录中文件作为上传参数调用文件加密函数),存入空字典中,字典中每个文件对应一个md5值,最后将字典写入到md5字典存放目录中

3.调用文件加密函数:将原目录文件循环读取逐一加密,返回加密结果

4.调用增量备份函数:

a)增量备份函数代码与完全备份函数基本一致

b)区别在于,备份前要先以二进制读方式打开md5字典存放目录,读取旧数据,判断旧数据中键对应的加密值与新加密值是否相同,如果不相同,则将新增内容写入到目标文件中(即只备份新数据)

5.注意:md5主要用于原文件与新文件判断

步骤一:编写脚本

vim backup.py
#!/usr/bin/env python3
import time
import os
import tarfile
import hashlib
import pickle
#用于判断两个文件是否相同,提取每个文件中的前4字节的内容然后输出md5码进行比较
def check_md5(fname):
m = hashlib.md5()
with open(fname, 'rb') as fobj:
while True:
data = fobj.read(4096)
if not data:
break
m.update(data)
 return m.hexdigest()
 def full_backup(src_dir, dst_dir, md5file):  
 fname = os.path.basename(src_dir.rstrip('/'))  
 fname = '%s_full_%s.tar.gz' % (fname, time.strftime('%Y%m%d'))  
 fname = os.path.join(dst_dir, fname)  
 md5dict = {} 
 tar = tarfile.open(fname, 'w:gz')  
 tar.add(src_dir)  
 tar.close()  
 for path, folders, files in os.walk(src_dir):  
 for each_file in files:  
 key = os.path.join(path, each_file)  
 md5dict[key] = check_md5(key)  
 with open(md5file, 'wb') as fobj:  
 pickle.dump(md5dict, fobj)  
 def incr_backup(src_dir, dst_dir, md5file):  
 fname = os.path.basename(src_dir.rstrip('/'))  
 fname = '%s_incr_%s.tar.gz' % (fname, time.strftime('%Y%m%d'))  
 fname = os.path.join(dst_dir, fname)  
 md5dict = {}  
 with open(md5file, 'rb') as fobj:  
 oldmd5 = pickle.load(fobj)  
 for path, folders, files in os.walk(src_dir):  
 for each_file in files:  
 key = os.path.join(path, each_file)  
 md5dict[key] = check_md5(key)  
 with open(md5file, 'wb') as fobj:  
 pickle.dump(md5dict, fobj)  
 tar = tarfile.open(fname, 'w:gz')  
 for key in md5dict:  
 if oldmd5.get(key) != md5dict[key]:  
 tar.add(key)  
 tar.close()  
 if __name__ == '__main__':  
 # mkdir /tmp/demo; cp -r /etc/security /tmp/demo  
 src_dir = '/tmp/demo/security'  
 dst_dir = '/var/tmp/backup' # mkdir /var/tmp/backup  
 md5file = '/var/tmp/backup/md5.data'  
 if time.strftime('%a') == 'Mon':  
 full_backup(src_dir, dst_dir, md5file)  
 else:  
 incr_backup(src_dir, dst_dir, md5file)  

步骤二:测试脚本执行

python3 backup.py  
cd /var/tmp/backup/  
ls  
md5.data security_full_20180502.tar.gz security_incr_20180502.tar.gz