黑客笔记41:腾讯云对象存储工具COSBrowser和COSCLI基本使用

325 阅读3分钟

COSBrowser可视化界面客户端支持windows、mac、linux系统,方便数据的查看,传输和管理。

其中windows支持的系统为Windows7 32/64位以上、Windows Server2008R2 64位以上。

填写SecretId,SecretKey,就可以登录进入客户端,查看存储桶。

上传文件或文件夹:若存储桶或路径内存在同名文件或文件夹,则默认覆盖

增量上传:执行上传操作前,对上传文件与存储桶已有对象做比对, 若存在同名对象,则跳过该文件不执行上传操作

下载文件或文件夹:若本地已存在同名文件或文件夹,则默认重命名

增量下载:执行下载操作前,将下载的对象与本地文件进行比对, 若存在同名对象,则跳过该对象不执行下载操作

单次同步:即手动同步,在单击开始同步时,立即进行一次同步操作。

自动同步:当本地目录有文件变更或新文件时,系统会将对应的文件自动同步上传到指定的存储桶中。

定时同步:用户可以预先设置特定的时间点(例如每天或者每周某个时刻),以便系统在预定的时间点执行文件同步操作,确保文件保持同步。

COSCLI是腾讯云对象存储(Cloud Object Storage,COS)提供的客户端命令行工具。通过 COSCLI 工具,您可以通过简单的命令行指令对您 COS 中的对象(Object)实现批量上传、下载、删除等操作。COSCLI 使用 Go 编写,基于 Cobra 框架,支持配置多个存储桶和跨桶操作。

vim ~/.cos.yaml,填写配置内容

cos:
  base:
    secretid: ******
    secretkey: ******
    sessiontoken: ""
    protocol: https
  buckets:
  - name: 1234-1305
    alias: bucket1
    region: ap-guangzhou
    endpoint: cos.ap-guangzhou.myqcloud.com
    ofs: false
  - name: 5678-1305
    alias: bucket2
    region: ap-guangzhou
    endpoint: cos.ap-guangzhou.myqcloud.com
    ofs: false

安装配置COSCLI

cd /usr/local/bin/
wget https://cosbrowser.cloud.tencent.com/software/coscli/coscli-linux
mv coscli-linux coscli
chmod 777 coscli
coscli --version

可以做好上传下载的文件完整性校验,针对文件同名的场景。

上传:coscli sync /test/ cos://bucket1/test/ -r --snapshot-path=/path/snapshot-path

下载:coscli sync cos://bucket1/test/ /test/ -r --snapshot-path=/path/snapshot-path

sync命令首先会对比同名文件的crc64,如果crc64 值相同则不进行传输。

crc64 用于数据完整性校验。由服务端计算出来传给客户端,客户端来做对比。如果需要校验上传到COS的文件和本地文件是否一致,可以使用crc64校验。 COS现在支持对各种方式上传的Object返回其crc64值,客户端可以和本地计算的crc64值做对比,从而完成数据完整性的验证。

还是这种方式比较好,可以对比文件完整性,遇到同文件名的场景,比较适用。

一般选择采用COSCLI 命令行工具进行备份,支持Windows、Mac、Linux三种操作系统。

腾讯云对象存储支持的最大上传下载速度为1.875GByte/s。