用warp给分布式存储系统minio测压

1,055 阅读2分钟

本文已参与「新人创作礼」活动,一起开启掘金创作之路。

Minio简介:是一个基于Go语言的对象存储服务。它实现了大部分亚马逊S3云存储服务接口,可以看做是S3的开源版本,非常适合于存储大容量非结构化的数据。

(1)Minio 兼容Amason的S3分布式对象存储项目,采用Golang实现,客户端支持Java,Python,Javacript, Golang语言。

(2)Minio可以做为云存储的解决方案用来保存海量的图片,视频,文档。由于采用Golang实现,服务端可以工作

(3)在Windows,Linux, OS X和FreeBSD上。配置简单,基本是复制可执行程序,单行命令可以运行起来

拉取Docker镜像

image.png

看到拉取的warp镜像已经跑起来了

image.png

image.png

这里的docker run minio/warp:v0.4.5 -h 就是查看-help文档,上面那条语句原型是docker run minio/warp:v0.4.5 warp -h 这里默认的就是warp所以可以不写。

image.png

这里需要加“–net host”相当于给电脑连网线,docker run就相当于买了个电脑

image.png

大功告成

上面是默认的测试

下面是自定义10W个测试点,每个点文件20kb(20480byte)

(base) root@k8s- master-101:~# docker run --net host minio/wa rp:v0.4.5 mixed --host-192.168.2.101 :9000 - - access- key=minio admin - sec ret- key=minioadmin --obj . size=20480 - -obj ects=100 000 - - autoterm warp: Preparing server, Uploading 100000 objects of Random data; 20480 bytes totalwa rp: Starting benchmark in 3s... warp: Benchmark starting... warp: Saving benchmark data warp: Benchmark data written to "warp- mixed- 2021-08- 10 [08442 4] H2sH. csv. zst" Mixed ope rations. Operation: DELETE, 10%, Concurrency: 20,Duration: 4m59s .

  • Throughput: 216.45 obj/s Operation: GET, 45%, Concurrency: 20,Duration: 4m59s,
  • Throughput: 19.02 MiB/s, 974.04 obj/s Operation: PUT, 15%, Concurrency: 20, Duration: 4m59s
  • Throughput: 6.34 MiB/s, 324.67 obj/s Operation: STAT,30%, Concurrency: 20,Duration: 4m59s
  • Throughput: 649.39 obj/s Cluster Total: 25.37 MiB/s, 2164.54 obj/s over 5m0s . warp: Starting cLeanup Clearing Prefix "warp- benchmark bucket" /" xrtAYTeV" . .warp: Cleanup Done.