Innobackupex MySQL 全备、增备及恢复

简介：

在这之前都是通过 mysqldump 来备份数据库的，由于是逻辑备份，所以采用这种备份方式数据是很安全的，跨平台、版本都很容易。

凡事有利必有弊，逻辑备份在你数据库比较大时，备份、恢复数据所耗费的时间也是蛮长的，所以要不断改进，使用物理备份。

由于线上数据库表使用的是混合引擎 MyISAM 跟 Innodb ，所以也不能使用 mysqlhotcopy ，这个工具还是蛮好用的，可惜只能备份 MyISAM。

Percona XtraBackup 是 Percona 公司开发的一个用于 MySQL 数据库物理热备的备份工具，且是开源项目。

了解到 XtraBackup 工具下有一个 innobackupex 支持 MyISAM 跟 Innodb 的备份，所以来搞一搞。

一、安装 XtraBackup

shell > yum -y install https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/binary/redhat/6/x86_64/percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm

# 或者

shell > wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/binary/redhat/6/x86_64/percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm

shell > yum -y install epel-release

shell > yum -y install rsync libev-devel numactl-devel perl-DBD-MySQL

shell > rpm -ivh percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm

# 需要解决依赖关系

二、innobackupex 全备

shell > innobackupex --user=user --password=passwd --no-timestamp ./2016/09-29/`date +%H-%M`.dbname

# --no-timestamp 如果不加的话会在备份目录下生成一个备份时间的目录，备份数据存在该目录下

# 将整个数据库备份到 ./2016/09-29/ 以备份时间加自定义名称的一个目录下

# 虽然可以使用 --stream=tar 加 | gzip > 的方式直接打包并压缩，但是备份速度就下降了，所以我宁愿快速备份，之后再去处理打包、压缩。

# 全备脚本

shell > vim script/backupdb.sh

#!/bin/bash
# 0 0 */2 * * sh /root/script/backupdb.sh
# author: Wang XiaoQiang 2016/09/29

dbname='alldatabases'
dbuser='user'
dbpassword='passwd'

backup_dir='/data/backup_db'
backup_log='/root/script/logs/backup.log'

ymtime=`date +%Y-%m`
dtime=`date +%d`

wlog(){
  echo -e "`date "+%F %T"` DBname: $1 State: $2\n" >> $backup_log
}

[ ! -d $backup_dir/$ymtime ] && mkdir -p $backup_dir/$ymtime

cd $backup_dir/$ymtime && /usr/bin/innobackupex --user=$dbuser --password=$dbpassword --no-timestamp $dbname > /dev/null 2>&1

if [ $? -eq 0 ];then
  wlog $dbname 'Backup success.'
  dbakfile=$dbname.$dtime.tar.gz
  tar zcf $dbakfile $dbname --remove-files
  [ $? -eq 0 ] && wlog $dbakfile 'Packaging success.' || wlog $dbakfile 'Packaging failed.'
else
  wlog $dbname 'Backup failed.'
fi

# End

三、innobackupex 全备恢复

shell > /etc/init.d/mysql.server stop  # 首先关闭数据库

shell > cd /data/backup_db  # 切换到备份目录

shell > mv /usr/local/mysql-5.5.52/data data.old  # 将原来的数据目录备份一下

shell > tar zxf alldatabase.11.tar.gz  # 然后将原来的备份解压缩

shell > innobackupex --apply-log alldatabase  # 在备份上应用日志，一般没有看到报错且最后显示 OK 就没有问题 ( --use-memory 使用该参数加快速度 )

161011 12:07:33 completed OK!

shell > innobackupex --copy-back alldatabase  # 将备份还原到 my.cnf 指定的 datadir 中，不指定 --defaults-file，默认 /etc/my.cnf

Error: datadir must be specified.  # 报错信息显示，在默认配置文件 /etc/my.cnf 中，没有找到 datadir 配置项

shell > vim /etc/my.cnf  # 加入 datadir 配置项

datadir         = /usr/local/mysql-5.5.52/data

shell > innobackupex --copy-back alldatabase  # 再次执行 copy 动作，没有报错且显示 OK 

161011 12:17:52 completed OK!

shell > ll -d /usr/local/mysql-5.5.52/data
drwxr-x--- 6 root root 4096 10月 11 12:17 /usr/local/mysql-5.5.52/data

shell > chown -R mysql.mysql /usr/local/mysql-5.5.52/data  # 修改数据目录权限

shell > /etc/init.d/mysql.server start

# 备份已经恢复!
# 回顾整个恢复过程，发现一个问题：之前数据库里的东西全部没有了...
# 也就是说，innobackupex 只适用于该 MySQL 中除系统库外，只有一个库的备份。
# 虽然有选项 --databases 可以指定备份哪个数据库，但是备出来的结果却是 all databases，且恢复的时候也是全部覆盖。
# 1、采用 innobackupex 备份整库，然后恢复到一台新库上，再通过 mysqldump 将需要还原的单库备份一次，之后导入需要恢复的数据库中 ( 要考虑恢复时间 )。
# 2、采用 innobackupex 备份只有一个业务库的 MySQL Server，恢复到只有该业务库的 MySQL Server 中。
# 3、如果一个 MySQL Server 中有多个数据库，又只想备份某个库，且该库体积比较小的情况下，建议使用 mysqldump 备份。

三、innobackupex 增备

shell > mysql -uuser -ppassword -A # 创建测试库、表，插入测试数据

mysql> create database test_incre character set utf8;

mysql> create table test_incre.incre(id int(10) not null,name varchar(20));

mysql> insert into test_incre.incre values(1,'Wang XiaoQiang');

mysql> quit

shell > innobackupex --user=user --password=password --database=test_incres --no-timestamp /data/backup_db/test_incre # 第一次全备

# 再次证明：--databases 就是来卖萌的，你可以去源数据库目录 du -sh 跟 目标备份目录 du -sh 比对，真的是一毛一样。

shell > mysql -uuser -ppassword -A # 添加测试数据

mysql> insert into test_incre.incre values(2,'Xiao GuaiShou');

mysql> quit

shell > innobackupex --user=user --password=password --database=test_incres --no-timestamp --incremental-basedir=/data/backup_db/test_incre --incremental /data/backup_db/test_incre01

# --incremental-basedir=/data/backup_db/test_incre 第一次增备指定全备路径# --incremental 参数说明这是一次增备，并指定增备路径

# 全备目录 du -sh 跟 增备目录 du -sh 比较发现，增备目录只比全备目录少了 1G，这说明对于 MyISAM 表来讲，还是全备！！！

shell > mysql -uuser -ppassword -A # 再次添加测试数据

mysql> insert into test_incre.incre values(3,'King');

mysql> quit

shell > innobackupex --user=user --password=password --database=test_incres --no-timestamp --incremental-basedir=/data/backup_db/test_incre01 --incremental /data/backup_db/test_incre02

# 第二次增备是在第一次增备的基础上，所以 --incremental-basedir 指定的是第一次增备目录，最后指定的第二次增备目录

shell > cat test_incre/xtrabackup_checkpoints    # backup_type 提示：这是一次全备，from_lsn 从 0 开始至 1601917 结束
backup_type = full-backuped
from_lsn = 0
to_lsn = 1601917
last_lsn = 1601917
compact = 0
recover_binlog_info = 0

shell > cat test_incre01/xtrabackup_checkpoints  # backup_type 提示：这是一次增备，from_lsn 从上次结束 lsn 1601917 开始至 1602789 结束
backup_type = incremental
from_lsn = 1601917
to_lsn = 1602789
last_lsn = 1602789
compact = 0
recover_binlog_info = 0

shell > cat test_incre02/xtrabackup_checkpoints  # backup_type 提示；这是一次增备，from_lsn 从上次结束 lsn 1602789 开始至 1603652 结束
backup_type = incremental
from_lsn = 1602789
to_lsn = 1603652
last_lsn = 1603652
compact = 0
recover_binlog_info = 0

# 好了，这就是增量备份了，可以发现：对于 MyISAM 来说全部是全量备份，并且根本没有什么 --databases 一说。

# 增备脚本

四、innobackupex 增备恢复

shell > /etc/init.d/mysql.server stop  # 关闭数据库

shell > cd /data/backup_db

shell > mv /usr/local/mysql-5.5.52/data data.old02  # 备份原有数据库

shell > innobackupex --apply-log --redo-only test_incre  # 指定全备目录，--redo-only 对已提交的事务进行前滚，仅最后一次增备恢复不需要添加该参数

shell > innobackupex --apply-log --redo-only test_incre --incremental-dir=/data/backup_db/test_incre01  # --incremental-dir 指定第一次增备目录 ( 绝对路径 )

shell > innobackupex --apply-log test_incre --incremental-dir=/data/backup_db/test_incre02  # 指定第二次增备目录，最后一次增备还原不需要添加 --redo-only 参数

shell > innobackupex --copy-back test_incre  # 最后一步，复制整合后的全备文件，位置为 my.cnf 中 datadir 指定路径

shell > chown -R mysql.mysql /usr/local/mysql-5.5.52/data

shell > /etc/init.d/mysql.server start  # 启动数据库，查看数据是否恢复

shell > mysql -uuser -ppassword -A

mysql> select * from test_incre.incre;
+----+----------------+
| id | name           |
+----+----------------+
|  1 | Wang XiaoQiang |
|  2 | Xiao GuaiShou  |
|  3 | King           |
+----+----------------+

# OK，木有问题！