如何用AWS Cli列出、计算和搜索S3 Bucket中的文件

1,065 阅读1分钟

在这篇文章中,我们将用AWS Cli来计算S3 Bucket中的文件数量。

步骤1:用AWS Cli列出S3 Bucket中的所有文件

首先,让我们看看如何用AWS Cli列出S3桶中的所有文件。这可以通过使用ls 方法来完成:

aws s3 ls 's3://my_bucket/input/data'

结果是

file1.txt
file2.txt

第2步:计算S3 Bucket中的文件数量

下一步是**计算该Bucket中的文件数量。这可以通过管道命令来完成 -| wc -l:

aws s3 ls 's3://my_bucket/input/data' | wc -l

输出:

657895

第3步:根据名称或模式搜索S3 Bucket中的文件

最后,我们**将使用一个模式或整个名称,以便在一个桶中进行搜索。**为此目的,我们将使用命令grep ,如下所示:

aws s3 ls 's3://my_bucket/input/data' | grep 'keyword*'

输出:

keyword.txt
keyword1.txt
keyword.csv

上面的搜索将找到并列出桶中以keyword 开始的任何文件。因此,如果你想从S3 Bucket中找到所有的CSV文件,请使用下面的命令:

aws s3 ls 's3://my_bucket/input/data' | grep '*.csv'

输出:

keyword.csv