Ucloud之us3不同区域文件同步

107 阅读2分钟

前言

最近切换了us3的存储,从北京切到了上海,对应的文件也需要同步到相应的区域存储。

同步方式

US3SYNC迁移工具

此方案经测试效果不好,所以一笔带过。

使用过程
配置界面搭建
Endpoint配置
工作节点配置
迁移任务的配置
使用结果

此方案使用效果不是很好,有好多文件始终不能同步成功,顾不推荐。

US3FS挂载同步(推荐)

此方案经测试效果不错,详细的配置官方文档已经存在,我只介绍 需要注意的点。

使用过程
下载与环境准备
创建Bucket配置文件
  1. 如果只有一个Bucket,只需配置默认配置文件即可,如下

    #默认配置文件位置
    /etc/us3fs/us3fs.yaml
    
  2. 如果有多个Bucket,需要配置多个配置文件,文件名称自定义(推荐使用bucket名称),如下

    #bucket1
    /etc/us3fs/bucket1.yaml
    #bucket2
    /etc/us3fs/bucket2.yaml
    
  3. bucket内容格式

    bucket: bucketName
    access_key: 公钥
    secret_key: 私钥
    endpoint: 区域域名,可以使用内网域名
    

    域名可参考:区域与域名

us3fs挂载目录
  1. 如果使用默认的配置文件,则挂载如下

    #挂载命令 us3fs [配置文件中的bucket] /mnt/[挂载目录]
    #例如,将bucket1挂载到/mnt/bucket1
    us3fs bucket1 /mnt/bucket1 
    
  2. 如果为自定义配置文件,则挂载如下

    #挂载命令 us3fs --passwd [配置文件路径] [配置文件中的bucket] /mnt/[挂载目录]
    #例如:配置文件[/etc/us3fs/bucket2.yaml],将bucket2挂载到/mnt/bucket2
    us3fs --passwd /etc/us3fs/bucket2.yaml bucket2 /mnt/bucket2
    
  3. 文件查看

    #挂载成功后可以通过linux中的命令来查看文件,例如使用ls查看文件列表
    ls /mnt/bucket1
    ls /mnt/bucket2
    

    ls -lt 按照时间排序[小->大]

    ls -ltr 按照时间排序[大->小]

开始同步

例如将bucket1的video目录下的文件同步到bucket2的video目录下

rsync -avzuP  /mnt/bucket1/video/ /mnt/bucket2/video/ --progress

rsync参数见参考文章。

同步进度是按照文件显示的,不是整个文件夹的进度。

参考文章

rsync使用

us3官方文档