前言
最近切换了us3的存储,从北京切到了上海,对应的文件也需要同步到相应的区域存储。
同步方式
US3SYNC迁移工具
此方案经测试效果不好,所以一笔带过。
使用过程
配置界面搭建
Endpoint配置
工作节点配置
迁移任务的配置
使用结果
此方案使用效果不是很好,有好多文件始终不能同步成功,顾不推荐。
US3FS挂载同步(推荐)
此方案经测试效果不错,详细的配置官方文档已经存在,我只介绍 需要注意的点。
使用过程
下载与环境准备
创建Bucket配置文件
-
如果只有一个Bucket,只需配置默认配置文件即可,如下
#默认配置文件位置 /etc/us3fs/us3fs.yaml
-
如果有多个Bucket,需要配置多个配置文件,文件名称自定义(推荐使用bucket名称),如下
#bucket1 /etc/us3fs/bucket1.yaml #bucket2 /etc/us3fs/bucket2.yaml
-
bucket内容格式
bucket: bucketName access_key: 公钥 secret_key: 私钥 endpoint: 区域域名,可以使用内网域名
域名可参考:区域与域名
us3fs挂载目录
-
如果使用默认的配置文件,则挂载如下
#挂载命令 us3fs [配置文件中的bucket] /mnt/[挂载目录] #例如,将bucket1挂载到/mnt/bucket1 us3fs bucket1 /mnt/bucket1
-
如果为自定义配置文件,则挂载如下
#挂载命令 us3fs --passwd [配置文件路径] [配置文件中的bucket] /mnt/[挂载目录] #例如:配置文件[/etc/us3fs/bucket2.yaml],将bucket2挂载到/mnt/bucket2 us3fs --passwd /etc/us3fs/bucket2.yaml bucket2 /mnt/bucket2
-
文件查看
#挂载成功后可以通过linux中的命令来查看文件,例如使用ls查看文件列表 ls /mnt/bucket1 ls /mnt/bucket2
ls -lt 按照时间排序[小->大]
ls -ltr 按照时间排序[大->小]
开始同步
例如将bucket1的video目录下的文件同步到bucket2的video目录下
rsync -avzuP /mnt/bucket1/video/ /mnt/bucket2/video/ --progress
rsync参数见参考文章。
同步进度是按照文件显示的,不是整个文件夹的进度。