[转帖]MioIO读/写性能测试

mioio,性能,测试 · 浏览次数 : 0

小编点评

## COSBench测试MinIO的RW性能 **简介:** COSBench是Intel团队基于java开发的测试云对象存储系统的分布式基准测试工具,全称是Cloud Object Storage Benchmark。它可以用于测试各种云对象存储系统,包括S3、MinIO、OpenStack等。 **测试场景:** 本测试使用S3接口测试MinIO的读写性能。 **测试配置:** * Driver和Controller两个关键组件组成 * Driver可以分布式部署 * 测试配置包含 read/write 同时测试和只读测试 * 测试场景包括 Local、Network 和 Regional 网络模式 **测试结果:** * 100% 的读取操作从第一个bucket中读取 * 100% 的写入操作写入到第一个bucket中 * 仅读测试读取 256KB 的对象,每秒处理 620.27 MB 的数据 * 仅写测试读取 128KB 的对象,每秒处理 183.39 MB 的数据 * 仅读测试读取 1024KB 的对象,每秒处理 164.47 MB 的数据 * 仅写测试读取 1024KB 的对象,每秒处理 157.91 MB 的数据 **总结:** 测试结果表明,MinIO 的读写性能非常高,可以用于大量对象的读取和写入操作。

正文

https://www.jianshu.com/p/a0a84f91b16f

 

 
image.png

 

COSBench是Intel团队基于java开发,是一个测试云对象存储系统的分布式基准测试工具,全称是Cloud Object Storage Benchmark;由Driver和Controller两个关键组件组成,Driver可以分布式部署,可以支持Swift、S3、Openstack等接口;这里简要介绍通过S3接口使用COSBench测试MinIO的RW性能。

Controller WEB页面

 
image.png

Driver WEB页面
 
image.png

 

使用mc客户端,添加MinIO server的地址(这里MinIO server通过K8S部署)

mc config host add xxxx http://10.0.105.107:32593 admin123 admin123 --api S3v4
 
image.png

workload-config.xml配置文件

 
image.png

 

 
image.png

storage指定存储类型,这里为s3
workflow主要分为5个阶段:
init阶段负责顺序创建2个空的bucket,bucket前缀为miniotest;
prepare阶段负责向每个bucket中写入128个object,每个对象大小为256KB,r(1,128)表示从1到128递增;
main阶段负责测试读,workers表示并发数,runtime表示运行时间,type表示类型,ratio表示读写比例。由于这里测试只读性能,所以read的比例为100,c(1)表示只对第一个bucket。
cleanup阶段清理object;
dispose阶段清理bucket。

只读测试

 
image.png

 

只写测试

 
image.png

 

读/写同时测试

 
image.png

 

 
image.png

测试结果
Local: COSBench的driver和minio在同一台机器,Network:COSBench的driver和minio不在同一台机器

Op-TypeOp-CountByte-CountAvg-ResTimeAvg-ProcTimeThroughputBandwidth
Readonly-Dist-256KB-128(local) 72.63 kops 18.59 GB 52.81 ms 51.66 ms 2422.93 op/s 620.27 MB/S
Readonly-Dist-256KB-1024(local) 77.2 kops 19.76 GB 395.48 ms 394.61 ms 2589.24 op/s 662.84 MB/S
Writeonly-Dist-256KB-128(local) 21.41 kops 5.48 GB 178.47 ms 169.64 ms 716.38 op/s 183.39 MB/S
Writeonly-Dist-256KB-1024(local) 18.31 kops 4.69 GB 1591.96 ms 1574.63 ms 642.44 op/s 164.47 MB/S
Readonly-Dist-256KB-128(network) 28.56 kops 7.31 GB 133.37 ms 46.45 ms 954.81 op/s 244.43 MB/S
Readonly-Dist-256KB-1024 (network) 17.81 kops 4.56 GB 1658.99 ms 208.9 ms 616.84 op/s 157.91 MB/S
Writeonly-Dist-256KB-128 (network) 15.4 kops 3.94 GB 247.57 ms 245.31 ms 516.87 op/s 132.32 MB/S
Writeonly-Dist-256KB-1024(network) 14.66 kops 3.75 GB 2031.26 ms 2022.86 ms 503.29 op/s 128.84 MB/S
Read(80%)/Write(20%)-Dist-64KB-10(network) 45.6 kops 2.92 GB 3.38 ms 3.22 ms 1520.05 op/s 97.28 MB/S
  11.12 kops 711.87 MB 7.64 ms 7.37 ms 370.79 op/s 23.73 MB/S

与[转帖]MioIO读/写性能测试相似的内容:

[转帖]MioIO读/写性能测试

https://www.jianshu.com/p/a0a84f91b16f image.png COSBench是Intel团队基于java开发,是一个测试云对象存储系统的分布式基准测试工具,全称是Cloud Object Storage Benchmark;由Driver和Controller两

[转帖]minio性能测试

https://zhangzhuo.ltd/articles/2021/09/08/1631106274550.html 压测参数说明 压测数据量为:2个backet,每个backet为10000对象。每个对象大小512kb 所有minio服务内核以及资源优化都相同 整体读写压测时间为10分,读写比

[转帖][minio]挂载minio到本地

https://www.cnblogs.com/XY-Heruo/p/16489190.html 前言 将minio的bucket挂载到本地文件系统 环境 客户端系统版本:centos 7 MinIO节点IP:192.168.0.20 s3fs方式步骤 安装s3fs客户端(可能需要先安装epel-r

[转帖]MinIO Client(mc)完全指南

https://www.cnblogs.com/lvzhenjiang/p/14944821.html 目录 一、获取MinIO Client(mc) 1.1 docker版 1.2 Homebrew (macOS) 1.3 下载二进制文件(GNU/Linux) 1.4 下载二进制文件(Micros

[转帖]minio 的 warp

3 benchmarking tool. Download Download Binary Releases for various platforms. Configuration Warp can be configured either using commandline parameters

[转帖]MinIO系列7 - Minio性能压测

https://www.zhihu.com/people/keen-wang 前言 声明:此文为本人历史笔记的整理,文章实际撰写时间为2021年2月份,所以本中所使用的相关组件版本较老。此文是通过压力测试以理解MinIO在当前硬件条件下能提供的性能,以及相关的资源消耗情况。转载请注明出处,谢谢! 前

[转帖]MinIO Client(mc)完全指南

https://www.cnblogs.com/lvzhenjiang/p/14944821.html 目录 一、获取MinIO Client(mc) 1.1 docker版 1.2 Homebrew (macOS) 1.3 下载二进制文件(GNU/Linux) 1.4 下载二进制文件(Micros

[转帖]使用s3(minio)为kubernetes提供pv存储

http://www.lishuai.fun/2021/12/31/k8s-pv-s3/#/%E8%A6%81%E6%B1%82 我们可以通过csi使用s3为kubernetes提供pv存储,当我们申请pvc时,会自动在s3上创建bucket。这里我们还使用minio作为s3使用。 注: 不建议生产

[转帖]Kubernetes部署Minio集群存储的选择,使用DirectPV CSI作为分布式存储的最佳实践

Kubernetes部署Minio集群存储的选择,使用DirectPV CSI作为分布式存储的最佳实践 个人理解浅谈 1. 关于在kubernetes上部署分布式存储服务,K8s存储的选择 非云环境部署K8s Pod时存储的选择 在非云环境部署Kubernets时,一般采用的都是本地的直连式存储和文

[转帖]使用s3(minio)为kubernetes提供pv存储

http://www.lishuai.fun/2021/12/31/k8s-pv-s3/#/%E8%A6%81%E6%B1%82 我们可以通过csi使用s3为kubernetes提供pv存储,当我们申请pvc时,会自动在s3上创建bucket。这里我们还使用minio作为s3使用。 注: 不建议生产