【mysql】数据迁移之Clickhouse备份开启掘金成长之旅！这是我参与「掘金日新计划 · 2 月更文挑战」的第 2

开启掘金成长之旅！这是我参与「掘金日新计划 · 2 月更文挑战」的第 23 天，点击查看活动详情

【地震高岗,一派西山千古秀】

Clickhouse场景

1.文本文件导入导出

数据库里的数据导出成特定的格式，再导入，这种方式很直接，也很简单容易理解，但是只能使用在数据量小的情况下，如果数据量一旦大，这种方式就是灾难。

导出：

clickhouse-client --password 12345678 --query="select * from inuser.t_record FORMAT CSV" > record.csv

导入: 注意FORMAT后面大写

cat inuser.record.csv | clickhouse-client --port 9008 --password 12345678 --query="INSERT INTO inuser.record FORMAT CSV"

2.拷贝数据目录

冷数据恢复，直接拷贝走clickhouse 的数据到另一台机器上，修改下相关配置就可以直接启动了，仔细的观察一下 ClickHouse 在文件系统上的目录结构（配置文件 /ect/clickhouse-server/config.xml 里面配置的 <path>），为了便于查看，只保留了 data 和 metadata 目录。

基于这个信息，直接把data和metadata目录（要排除 system 库）复制到新集群，即可实现数据迁移

步骤：
1、停止原先的clickhouse数据库，并打包好 对应数据库或表的 data 和 metadata 数据
2、拷贝到目标clickhouse数据库对应的目录，比如/var/lib/clickhouse 目录下
3、给clickhouse 赋予权限, 
chown -Rf clickhouse:clickhouse /var/lib/clickhouse/*
chown -Rf clickhouse:clickhouse /var/lib/clickhouse
4、重启目标clickhouse数据库
5、验证数据 select count(1) form inuser.t_record;

3.使用第三方工具，clickhouse-backup

clickhouse-backup 是社区开源的一个 ClickHouse 备份工具，可用于实现数据迁移。其原理是先创建一个备份，然后从备份导入数据，类似 MySQL 的 mysqldump + SOURCE。这个工具可以作为常规的异地冷备方案

使用限制：

支持1.1.54390以上的ClickHouse
仅MergeTree系列表引擎
不支持备份Tiered storage或storage_policy
云存储上的最大备份大小为5TB
AWS S3上的parts数最大为10,000

下载clickhouse-backup 软件包

官方提供了二进制版本和rpm包的方式 github地址： github.com/AlexAkulov/… 下载地址： github.com/AlexAkulov/…
修改clickhouse-backup 配置文件config.yml 根据clickhouse自身的配置来修改此配置文件，比如 clickhouse的数据目录，数据库密码，监控地址及端口

官方的配置说明：

clickhouse-backup 除了备份到本机，此外还支持远程备份的方式，备份到s3 上【对象存储】，ftp，sftp 上，还支持使用 api 接口访问

查看clickhouse-backup 相关命令

1、 查看全部默认的配置项
 clickhouse-backup default-config
2、 查看可备份的表【已在配置文件中过滤掉system和default 库下面的所有表】
 [root@localhost clickhouse-backup]# clickhouse-backup tablesbrdatasets.hits_v1  1.50GiB  default 
3、 创建备份

全库备份

clickhouse-backup create 备份存储在中 $data_path/backup 下，备份名称默认为时间戳，可手动指定备份名称

clickhouse-backup create 备份包含两个目录：

metadata目录: 包含重新创建所需的DDL SQL shadow目录: 包含作为ALTER TABLE ... FREEZE操作结果的数据单表备份

clickhouse-backup create [-t, --tables=.

] <backup_name> 备份表datasets.hits_v1

clickhouse-backup create -t datasets.hits_v1 备份多个表datasets.hits_v1， datasets.hits_v2

clickhouse-backup create -t datasets.hits_v1,datasets.hits_v2 4、查看备份记录

[root@localhost datasets]# clickhouse-backup list 5、删除备份文件

[root@localhost datasets]# clickhouse-backup delete local 2021-09-06T14-03-23

数据恢复

语法： clickhouse-backup restore 备份名

【mysql】数据迁移之Clickhouse备份