[转帖]阵列卡——优化服务器数据吞吐量

阵列卡,优化,服务器,数据,吞吐量 · 浏览次数 : 0

小编点评

**数据传输流程图** ``` 用户->服务器->磁盘阵列->系统总线->传输介质->传输设备->网络连接设备 ``` **各类硬件设备的选择** * **服务器端:** * 磁盘阵列:根据需要增加磁盘数量来提高数据的吞吐量。 * 光纤阵列:光纤通道大小决定数据传输能力。 * **阵列卡:** * PCI-X 133MHz,64bit,带宽 = 1014.7MB/s * RAID0阵列,速度差不多能达到800MB/s * **系统总线:** * 64/8*133*1000*1000/1024/1024 * 100MB/s * **传输介质:** * 光纤卡,如 SAS,每块支持的最大流量 = 250MB/s * 4块光纤卡,每块支持的最大流量 = 1GB/s * **传输设备:** * 网络连接设备,例如网卡,可以处理高数据传输速度。 **硬盘的限制** * RAID5 和 RAID10 中,读和写的 iops 都相同,但写操作有两次 io,导致每个磁盘的 iops 小于磁盘极限。 * 在恢复压力很大的 standby 情况下,每个磁盘的 iops 可以达到 200,导致响应速度极慢。

正文

https://www.unicaca.com/info/detail/194.html

 

  存放在服务器磁盘阵列的数据,响应用户的数据请求,从磁盘阵列读取到磁盘阵列卡,然后数据从磁盘阵列卡通过系统总线传输到网卡(当然途中会经过内存,只是内存的带宽远比磁盘阵列卡的大),从网卡传输到传输介质,再从传输介质到网络连接设备,最后从网络连接设备进行分流传入众用户。而用户存放数据到服务器,这个流程只要逆向就可。(带宽:带子的宽度,带子越宽,速度越快,汗!带宽指通道的最大数据传输能力。)

 在这个流程中的各类硬件设备,根据情况可有多种选择。

  典型上,我们最常用设备的数据传输流程图如下:
 



  在这个传输流程中,服务器端,使用磁盘阵列就可以提高数据的吞吐量,根据需要可增加磁盘数量来提高数据的吞吐量,这个环节瓶颈不大,一般单块SAS硬盘实际平均读写速率可达到100MB/s,8块RAID0阵列,速度差不多能达到800MB/s;从阵列卡到系统总线,一般阵列卡如SAS用的是PCI-X,133MHz,64bit,那它的带宽=64/8*133*1000*1000/1024/1024=1014.7MB/s,这个阵列卡的带宽完全能胜任,那阵列卡的吞吐量与IOPS到底有是没用呢,下面由小编来介绍一下。

  阵列卡的吞吐量与IOPS

  阵列的瓶颈主要体现在2个方面,吞吐量与IOPS。

  1、吞吐量

  吞吐量主要取决于阵列的构架,光纤通道的大小(现在阵列一般都是光纤阵列,至于SCSI这样的SSA阵列,我们不讨论)以及硬盘的个数。阵列的构架与每个阵列不同而不同,他们也都存在内部带宽(类似于pc的系统总线),不过一般情况下,内部带宽都设计的很充足,不是瓶颈的所在。

  光纤通道的影响还是比较大的,如数据仓库环境中,对数据的流量要求很大,而一块2Gb的光纤卡,所能支撑的最大流量应当是2Gb/8(小B)=250MB/s(大B)的实际流量,当4块光纤卡才能达到1GB/s的实际流量,所以数据仓库环境可以考虑换4Gb的光纤卡。

  最后说一下硬盘的限制,这里是最重要的,当前面的瓶颈不再存在的时候,就要看硬盘的个数了,我下面列一下不同的硬盘所能支撑的流量大小:

          10K rpm     15K rpm       ATA
          ———         ———           ———
          10M/s       13M/s         8M/s

 

  那么,假定一个阵列有120块15K rpm的光纤硬盘,那么硬盘上最大的可以支撑的流量为120*13=1560MB/s,如果是2Gb的光纤卡,可能需要6块才能够,而4Gb的光纤卡,3-4块就够了。

  2、IOPS

  决定IOPS的主要取决与阵列的算法,cache命中率,以及磁盘个数。阵列的算法因为不同的阵列不同而不同,如我们最近遇到在hds usp上面,可能因为ldev(lun)存在队列或者资源限制,而单个ldev的iops就上不去,所以,在使用这个存储之前,有必要了解这个存储的一些算法规则与限制。

  cache的命中率取决于数据的分布,cache size的大小,数据访问的规则,以及cache的算法,如果完整的讨论下来,这里将变得很复杂,可以有一天好讨论了。我这里只强调一个cache的命中率,如果一个阵列,读cache的命中率越高越好,一般表示它可以支持更多的IOPS,为什么这么说呢?这个就与我们下面要讨论的硬盘IOPS有关系了。

  硬盘的限制,每个物理硬盘能处理的IOPS是有限制的,如

      10K rpm     15K rpm       ATA
      ———         ———           ———
      100         150           50

  同样,如果一个阵列有120块15K rpm的光纤硬盘,那么,它能撑的最大IOPS为120*150=18000,这个为硬件限制的理论值,如果超过这个值,硬盘的响应可能会变的非常缓慢而不能正常提供业务。

  另外,我们上一篇也讨论了,在raid5与raid10上,读iops没有差别,但是,相同的业务写iops,最终落在磁盘上的iops是有差别的,而我们评估的却正是磁盘的IOPS,如果达到了磁盘的限制,性能肯定是上不去了。

  那我们假定一个case,业务的iops是10000,读cache命中率是30%,读iops为60%,写iops为40%,磁盘个数为120,那么分别计算在raid5与raid10的情况下,每个磁盘的iops为多少。

  raid5:

  单块盘的

  iops = (10000*(1-0.3)*0.6 + 4 * (10000*0.4))/120

  = (4200 + 16000)/120

  = 168

  这里的10000*(1-0.3)*0.6表示是读的iops,比例是0.6,除掉cache命中,实际只有4200个iops而4 * (10000*0.4) 表示写的iops,因为每一个写,在raid5中,实际发生了4个io,所以写的iops为16000个

  为了考虑raid5在写操作的时候,那2个读操作也可能发生命中,所以更精确的计算为:

  单块盘的

  iops = (10000*(1-0.3)*0.6 + 2 * (10000*0.4)*(1-0.3) + 2 * (10000*0.4))/120

  = (4200 + 5600 + 8000)/120

  = 148

  计算出来单个盘的iops为148个,基本达到磁盘极限

  raid10:

  单块盘的

  iops = (10000*(1-0.3)*0.6 + 2 * (10000*0.4))/120

  = (4200 + 8000)/120

  = 102

  可以看到,因为raid10对于一个写操作,只发生2次io,所以,同样的压力,同样的磁盘,每个盘的iops只有102个,还远远低于磁盘的极限iops。

  在一个实际的case中,一个恢复压力很大的standby(这里主要是写,而且是小io的写),采用了raid5的方案,发现性能很差,通过分析,每个磁盘的iops在高峰时期,快达到200了,导致响应速度巨慢无比。后来改造成raid10,就避免了这个性能问题,每个磁盘的iops降到100左右。

       有需要了解更多信息的可查询CEACENT--嘉华众力官网;需要合作与咨询搭建方案请联系官网上的在线客服,嘉华众力自2000年成立以来一直在网络存储、传输这方面积累、沉淀;经过多年发展与全新的品牌定位,( CEACENT )嘉华众力品牌已成为国内外极具实力的数据通讯产品及方案提供商。
 

与[转帖]阵列卡——优化服务器数据吞吐量相似的内容:

[转帖]阵列卡——优化服务器数据吞吐量

https://www.unicaca.com/info/detail/194.html 存放在服务器磁盘阵列的数据,响应用户的数据请求,从磁盘阵列读取到磁盘阵列卡,然后数据从磁盘阵列卡通过系统总线传输到网卡(当然途中会经过内存,只是内存的带宽远比磁盘阵列卡的大),从网卡传输到传输介质,再从传输介质

[转帖]什么是RAID(独立磁盘冗余阵列)?

目录 什么是RAID(独立磁盘冗余阵列)? 什么是RAID? RAID 0 RAID 1 RAID 2 RAID 3 RAID 4 RAID 5 RAID 6 其他配置 RAID适合您吗? RAID 0,1,5,6,10 RAID级别0 –条带化 RAID 0的优点 RAID 0的缺点 理想用途 R

[转帖]阵列卡缓存模式- 透写(Write Through)和回写(Write Back)

https://www.unicaca.com/info/detail/195.html 分享到: Write Through和Write Back是阵列卡Cache的两种使用方式,也称为透写和回写。 Write Through也是RAID阵列卡的默认模式。 当选用write through方式时,

[转帖]RAID 5写带宽11.7GB/s:当SAS 24G阵列卡嵌入PCIe Switch

https://zhuanlan.zhihu.com/p/576562821 引言:在SAS/SATA RAID卡开始转向Tri-Mode即支持NVMe之后,关于软硬RAID哪个更好的讨论还在继续。而Broadcom和Microchip这两家大厂的手里,正好都掌握着PCIe Switch芯片技术。不

[转帖]浪潮PM8222-SHBA、RAID 2GB PM8204、RAID 4GB PM8204,阵列卡配置方法

1.8222和8204对比 这几个型号的阵列卡都很相似,配置方法也基本一样 8204就是在8222上的基础上增加了缓存,可以通过下图对比 正面8204比8222多一个掉电保护接口 8204背面多了几个闪存颗粒 2.配置RAID 2.1.UEFI下配置RAID 我个人比较喜欢UEFI引导下配置整列卡,

[转帖]浪潮PM8222-SHBA、RAID 2GB PM8204、RAID 4GB PM8204,阵列卡配置方法

1.8222和8204对比 这几个型号的阵列卡都很相似,配置方法也基本一样 8204就是在8222上的基础上增加了缓存,可以通过下图对比 正面8204比8222多一个掉电保护接口 8204背面多了几个闪存颗粒 2.配置RAID 2.1.UEFI下配置RAID 我个人比较喜欢UEFI引导下配置整列卡,

[转帖]arcconf工具简单学习

https://blog.yelvlab.cn/archives/622/ 最近用到了一个MICROCHIP公司的阵列卡Microsemi Adaptec SmartRAID 3152-8i,但是常用的Raid Manager工具megacli,并不兼容这张卡,无法进行管理和监控,所以研究一下能管理

[转帖]阵列Cache写机制:Write-through与Write-back区别

http://www.nndssk.com/yjwt/134491jN6VSY.html Write Through和Write Back Write Through和Write Back是阵列卡Cache的两种使用方式,也称为透写和回写。当选用write through方式时,系统的写磁盘操作并不

[转帖]【MegaCli】RAID工具管理工具学习与整理

https://blog.yelvlab.cn/archives/608/ 95年小孩写的文章. MegaCli MegaCli是一款管理维护硬件RAID软件,可以通过它来了解当前raid卡的所有信息,包括 raid卡的型号,raid的阵列类型,raid 上各磁盘状态,等等。通常,我们对硬盘当前的状

[转帖]350万IOPS:NVMe SSD RAID卡性能测试解析

https://aijishu.com/a/1060000000225602 最近,有不止一位读者朋友希望我分享NVMe RAID卡的性能表现。记得在5年前,我写过一篇《存储极客:服务器SSD RAID__性能速查手册》,当时还是SAS和SATA SSD做阵列,而我当时在文章末尾写了下面这句: 时间