什么是AWS S3?
Amazon S3或Amazon Simple Storage Service是Amazon Web Services (AWS) 提供的一项服务,它通过Web 服务接口提供对象存储。 Amazon S3 使用与Amazon.com运行其电子商务网络相同的可扩展存储基础设施。Amazon S3 可以存储任何类型的对象,允许用于 Internet 应用程序的存储、备份、灾难恢复、数据存档、用于分析的数据湖和混合云存储。
Amazon S3 提供了多种功能,可供用户以各种方式组织和管理数据,从而支持特定使用案例、实现成本效率、实施安全性并满足合规要求。数据以对象的形式存储在名为“存储桶”的资源中,单个对象大小的上限为 5 TB。S3 的特性中还包括诸多功能,包括将元数据标签附加到对象,跨 S3 存储类移动和存储数据,配置并实施数据访问控制,防止未经授权的用户访问数据,运行大数据分析,在对象级别和存储桶级别监控数据,以及查看整个组织的存储使用情况和活动趋势。您可以通过 S3 访问点或直接通过存储桶主机名访问对象。
详细介绍见:Amazon S3 功能 - Amazon Web Services
对象存储介绍
对象存储是用于大规模存储非结构化数据的数据存储架构。它将每项数据指定为一个对象,保存在单独的仓库中,然后与元数据和唯一标识符捆绑在一起,以方便访问和检索。
对象存储,也称为基于对象的存储,是一种数据存储,其中每个数据单元存储为称为对象的离散单元。对象可以是离散单元,类似于pdf,音频,图像或视频文件。这些对象实际上可以是任何类型的数据和任何大小的数据。对象存储中的所有对象都存储在单个平面地址空间中,而没有文件夹层次结构。
与文件类型和块类型存储不同,对象存储支持有助于描述文件的全面元数据。元数据可帮助您理解和分析大型文件,而无需直接处理文件中包含的内容。
AWS S3命令
Aws s3支持以下命令
cp
ls
mb
mv
presign
rb
rm
sync
website
常用操作
上传文件
aws s3 cp ${your_local_path}$/${your_local_file}$ s3://${bucket}$//${object}$
例如:
aws s3 cp bin/linux-amd64/cad s3://vecps/cad/v1.6.0-test-lock/linux-amd64/cad
可通过--endpoint来指定s3上传终端
检查某个文件是否存在
对实际文件名进行操作,如果文件名存在,退出码为0并显示文件名,否则退出码不为0:
aws s3 ls s3://bucket/filname
if [[ $? -ne 0 ]]; then
echo "File does not exist"
fi
有关aws s3的更多命令可参考:通过 AWS CLI 使用高级别 (s3) 命令 - AWS Command Line Interface