[转帖]350万IOPS:NVMe SSD RAID卡性能测试解析

iops,nvme,ssd,raid,性能,测试,解析 · 浏览次数 : 0

小编点评

**NVMe RAID卡性能测试报告** **测试环境** * Dell POWEREdge R650服务器 * PERC H755 adapter * 11用户指南 **测试结果** * 5.908 MB/s 的 4KB随机写延时 * 14.800 MB/s 的 8KB随机读延时 * 14.800 MB/s 的 4KB混合随机读写延时 * 11.750 MB/s 的 8KB混合随机读写延时 **测试结论** * NVMe RAID 卡性能比 SATA RAID 卡要高。 * 4KB、8KB和4KB混合随机读写延时均高于 SATA RAID 卡的对应延时。 * 8KB混合随机读写延时最高达到 14.800 MB/s。

正文

https://aijishu.com/a/1060000000225602

 

 

最近,有不止一位读者朋友希望我分享NVMe RAID卡的性能表现。记得在5年前,我写过一篇《存储极客:服务器SSD RAID__性能速查手册》,当时还是SAS和SATA SSD做阵列,而我当时在文章末尾写了下面这句:

image.png

时间过得真快啊。当年还是使用LSISAS3108芯片的Dell H730P(PERC 9系列)RAID卡,中间隔了一代H740P(LSI3508芯片,PERC 10系列),如今已经推出了Broadcom SAS3916芯片(PCIe 4.0)的PERC 11 RAID卡。虽然芯片名字还带“SAS”,但已经是Dell第一代支持NVMe SSD的RAID卡了。

本文引用的测试数据来自Principled Technologies的报告《Accelerate I/O with NVMe drives on the new Dell EMCPowerEdge R650 server》,结尾处我会给出链接。

测试平台:3rd Xeon Scalable PowerEdge R650服务器

image.png

上面图表是对比平台,左边是Dell R640服务器+ H730P Mini RAID卡,右边则是R650+ H755N Front(前置)RAID卡。除此之外,影响性能的主要就是SSD盘——老平台上使用了10块Intel D3-S4510 1.92TB SATA;新平台没有写SSD制造商(AG代表随机发货的意思),可以看出是8块企业级NVMe MU(混合用途,写表现比读密集型好)U.2 SSD,容量为3.2TB。

测试操作系统为RedHat企业版Linux8.3。

image.png

PERC H755N front NVMe这款RAID卡我之前简单介绍过;而在上一篇《PowerEdge 15G__服务器的风冷散热“新花样”》中,我还提到了它的兄弟型号PERC H755 front SAS,如下图:

image.png

这两款前置RAID卡的主要区别就是分别支持NVMe 和SAS驱动器,在机箱内固定的位置都相同,就在热插拔背板的后面。

image.png

上图是Fio的测试参数。针对各种随机/顺序、读/写负载,结合设置不同的线程数和队列深度,以尽量压测出RAID卡的最大性能。

先不考虑RAID的写惩罚,64T x 64Q并发分摊到8个SSD上,每块NVMe盘的队列深度就有512。而传统RAID 10/5/6对应的随机写惩罚为2/4/6倍,所以当大家在下文中看到延时数字时就不应意外了。

IOPS:随机读350万、随机写91万(RAID 10)

image.png

首先看RAID 10测试结果,PowerEdge R650即代表PERC H755N RAID卡+NVMe SSD;R640代表H730P RAID卡+SATA SSD。

首先是4KB随机读,新的NVMe RAID卡超过了355万IOPS,比之前Broadcom 3916芯片宣传的3百万(如下图)还要高;而老款的H730P+ SATA SSD只有50万。4KB随机写,PERC H755N也达到了917,000 IOPS。

image.png



理论上RAID 10的写性能可以达到读的一半,不过SSD的写本身就比读慢,所以实际上不是那么简单。比如我经历过HDD机械盘的时代,IOPS瓶颈还远没有到达RAID卡;而现在无论是SATA/SAS还是NVMe SSD都要另行分析了。5年前那篇中我就提到过,LSI 3108芯片的H730P RAID卡,RAID 10随机写IOPS也只能达到10万左右(RAID5随机写最大约4-5万),这是当年主控芯片的限制。

参考Intel SSD P4610的22万随机写性能,8个NVMe SSD RAID 10测到917,000 IOPS已经不错了。

8KB混合随机读写,H755N NVMe RAID在100-110万IOPS之间,我认为这个水平应该满足绝大多数单机应用了。

至于大数据块顺序读写性能,我习惯去看带宽(MB/s)而不是IOPS,咱们可以稍后讨论。接下来先看RAID 5/6的随机IOPS。

image.png

如上图,H755N + NVMe SSD的RAID 5/6随机读IOPS,与前面的RAID 10非常接近,都在350万IOPS以上。RAID 6随机写IOPS 198,000,接近20万了;RAID 5随机写186,000稍有点意外,比之前Broadcom公布的芯片最大性能偏低些。也可能用更多数量的盘可以达到25万。

注:据了解下一代NVMeRAID卡,随机写IOPS还会有数倍提升。

相比之下,H730P RAID卡的随机写IOPS有点不正常,不排除是测试中S4510 SSD处于GC垃圾回收状态而性能偏低。

NVMe RAID的8KB随机读IOPS几乎就是4KB的一半,因为此时换算成带宽已经超过14GB/s,接近PCIe 4.0 x8接口的限制了。

8KB混合随机读写,NVMe RAID 5和6分别在50万和40万IOPS左右。

带宽和延时:似乎缺了点啥?

image.png

单位:MB/s

位于这个截图上方的表格,是RAID 10测试带宽对比。我主要看顺序写那一项,H755N NVMe SSD RAID的5,908 MB/s达到了老款H730P + SATA SSD的接近3倍。当然这里面有Intel S4510 SATA接口的限制,单盘写带宽才510MB/s,10块盘RAID 10写入理论上也不可能超过2.5GB/s。

往下看是RAID6和5的带宽性能,这份报告中只给出了64KB顺序读而没有顺序写,略显遗憾。NVMe SSD RAID 5和6都能达到14,800 MB/s,相当于SATA RAID的3倍多,而后者可能还是有点受限于单个SSD接口带宽。

image.png

单位:ms(毫秒),本次介绍的Fio测试不完全代表实际应用

再来看看延时指标。其中RAID 5和6的4KB随机写在所有项目中显得最高,而实际上RAID 10随机写延时也偏高。

首先,这与NAND闪存SSD自身的特性相关,稳态写入性能和延时都比读要差。

image.png

上图引用自我4年前做的《Intel Optane P4800X评测(3):Windows绑核优化篇》,可以看到当年性能优异的Intel P3700在并发8时达到最高写IOPS 18万,而后并发再提高延时也会线性增加。

上文中我给大家打过“预防针”,因此我们不要一下被10ms、100ms的数字吓住。如果我来出这份测试报告的话,会把前面列出过的线程数和队列深度一起放在上面表格里作参考。因为这个延时是压测到最高性能时记录的,如果我们测试job1/QD1也不可能这么高。

即便如此,我还是看到了NVMe SSD RAID比以前SATA RAID的“巨大”提升,尽管其中有一部分单盘性能的因素,但H755N RAID卡的表现应该说是不错的。

当然,如果我们看随机混合读写延时,最新的RAID卡还是无法与当今先进的全闪存阵列(1ms以内)相比。但我们别忘了AFA阵列控制器的处理性能、缓存和功耗有多高;RAID卡才8GB Cache,只有15W功耗而已。另外一台阵列卖多少钱?要求马儿少吃草,同时又要跑最快是不现实的:)

完整的测试配置和步骤参考

image.png

点开后可放大查看

我想肯定Principled Technologies测试报告的一点——会列出完整的测试环境配置步骤,以及测试工具的命令步骤。比如上图中的“blk_mqscsi_mod”,就让我想起5年前写过的《突破百万IOPS:blk-mq释放SCSI性能》。

更多细节我就不在此都粘贴过来了,大家可以参考报告原文档。以上信息不仅使测试报告更加客观(因为各项结果按照同样配置和操作要能复现),同时对技术爱好者们学习也有帮助。

PERC 11 RAID卡和PowerEdge 15G服务器

image.png

最后,我还是把上表列出来给大家参考一下。本文测试讨论的RAID卡是H755N front NVMe,标准PCIe扩展卡形态的PERC H755 adapter(如下图)可以达到同样的性能,并同时兼容SAS/SATA盘。

image.png

image.png



PowerEdge R650服务器在这里就不多谈了。之前《冷板式液冷标准化:Power Edge 15G服务器散热杂谈》是围绕2U机型R750来写的,1U的R650同样支持液冷作为标准选项。

参考资料《Accelerate I/O with NVMe drives on the new Dell EMC PowerEdge R650 server》

https://www.principledtechnol...

https://www.principledtechnol...

《Dell Technologies PowerEdge RAID 控制器 11用户指南 - PERC H755 适配器、H755 前置 SAS 和 H755N 前置 NVMe》

https://dl.dell.com/topicspdf...

作者:唐僧huangliang
原文:https://mp.weixin.qq.com/s/Q9b7\_BKAZm2l8b21tAtwrg

与[转帖]350万IOPS:NVMe SSD RAID卡性能测试解析相似的内容:

[转帖]350万IOPS:NVMe SSD RAID卡性能测试解析

https://aijishu.com/a/1060000000225602 最近,有不止一位读者朋友希望我分享NVMe RAID卡的性能表现。记得在5年前,我写过一篇《存储极客:服务器SSD RAID__性能速查手册》,当时还是SAS和SATA SSD做阵列,而我当时在文章末尾写了下面这句: 时间

[转帖]350W+ CPU、700W+ GPU功耗:冷板和浸没式液冷哪个更有前途?

https://aijishu.com/a/1060000000363530 液冷技术方面我算不上专业,因为最近在一篇博客中看到不错的资料,这里分享给大家顺便做点讨论。 大家应该知道,Intel代号Sapphire Rapids的下一代Xeon处理器最高TDP将达到350W,AMD EPYC4功耗也

[转帖]

Linux ubuntu20.04 网络配置(图文教程) 因为我是刚装好的最小系统,所以很多东西都没有,在开始配置之前需要做下准备 环境准备 系统:ubuntu20.04网卡:双网卡 网卡一:供连接互联网使用网卡二:供连接内网使用(看情况,如果一张网卡足够,没必要做第二张网卡) 工具: net-to

[转帖]

https://cloud.tencent.com/developer/article/2168105?areaSource=104001.13&traceId=zcVNsKTUApF9rNJSkcCbB 前言 Redis作为高性能的内存数据库,在大数据量的情况下也会遇到性能瓶颈,日常开发中只有时刻

[转帖]ISV 、OSV、 SIG 概念

ISV 、OSV、 SIG 概念 2022-10-14 12:29530原创大杂烩 本文链接:https://www.cndba.cn/dave/article/108699 1. ISV: Independent Software Vendors “独立软件开发商”,特指专门从事软件的开发、生产、

[转帖]Redis 7 参数 修改 说明

2022-06-16 14:491800原创Redis 本文链接:https://www.cndba.cn/dave/article/108066 在之前的博客我们介绍了Redis 7 的安装和配置,如下: Linux 7.8 平台 Redis 7 安装并配置开机自启动 操作手册https://ww

[转帖]HTTPS中间人攻击原理

https://www.zhihu.com/people/bei-ji-85/posts 背景 前一段时间,公司北京地区上线了一个HTTPS防火墙,用来监听HTTPS流量。防火墙上线之前,邮件通知给管理层,我从我老大那里听说这个事情的时候,说这个有风险,然后意外地发现,很多人原来都不知道HTTPS防

[转帖]关于字节序(大小端)的一点想法

https://www.zhihu.com/people/bei-ji-85/posts 今天在一个技术群里有人问起来了,当时有一些讨论(不完全都是我个人的观点),整理一下: 为什么网络字节序(多数情况下)是大端? 早年设备的缓存很小,先接收高字节能快速的判断报文信息:包长度(需要准备多大缓存)、地

[转帖]awk提取某一行某一列的数据

https://www.jianshu.com/p/dbcb7fe2da56 1、提取文件中第1列数据 awk '{print $1}' filename > out.txt 2、提取前2列的文件 awk `{print $1,$2}' filename > out.txt 3、打印完第一列,然后打

[转帖]awk 中 FS的用法

https://www.cnblogs.com/rohens-hbg/p/5510890.html 在openwrt文件 ar71xx.sh中 查询设备类型时,有这么一句, machine=$(awk 'BEGIN{FS="[ \t]+:[ \t]"} /machine/ {print $2}' /