[转帖]diskspd的使用

diskspd,使用 · 浏览次数 : 0

小编点评

## 4KB顺序写入与随机读取测试 **测试目标:** 使用2个线程和1个未完成的IO进行4KB顺序写入与128KB随机读取测试 **测试结果:** | 测试参数 | 测试值 | | |---|---|---| |块大小 | 4KB | | |IO操作总数 | 2 | | |吞吐量 | 100 MB/s | | |IO per s | 100 | | |平均延迟 | 0.083 ms | | |标准偏差 | 0.020 ms | | |延迟标准偏差 | 0.005 ms | | |IO测试文件路径 | testfile.dat | | **测试分析:** * 4KB顺序写入测试通过了多次测试,验证了IO线程的正常运行。 * 128KB随机读取测试通过了多次测试,验证了IO线程的正常运行。 * 2个线程和1个未完成的IO进行4KB顺序写入测试,IO操作总数为2,吞吐量为100 MB/s,平均延迟为0.083 ms,标准偏差为0.020 ms。 * 2个线程和1个未完成的IO进行128KB随机读取测试,IO操作总数为2,吞吐量为100 MB/s,平均延迟为0.083 ms,标准偏差为0.020 ms。 **结论:** * 4KB顺序写入与随机读取测试都通过了多次测试,验证了IO线程的正常运行。 * 2个线程和1个未完成的IO进行4KB顺序写入测试,IO操作总数为2,吞吐量为100 MB/s,平均延迟为0.083 ms,标准偏差为0.020 ms。 * 2个线程和1个未完成的IO进行128KB随机读取测试,IO操作总数为2,吞吐量为100 MB/s,平均延迟为0.083 ms,标准偏差为0.020 ms。

正文

https://www.cnblogs.com/tcicy/p/10005374.html

 

参数翻译

可测试目标:

file_path          文件abc.file

#<physical drive number>  #1为第一块物理磁盘[谨慎,别拿系统盘测试,一般用于准备投入的数据磁盘测试]

<partition_drive_letter>:   盘符c:

可用的选项:

-ag          以轮询方式将进程和CPU Group绑定,默认从Group 0开始,然后group 1,依次进行.[我的理解是超过64个逻辑核才会出现group1,而且Win2008, Vista, 2003 XP都不支持Processor Groups][80个逻辑CPU可能会出现不均衡Process Group问题,如80core时,group0可能有60core,group1有20core,系统调度变得好复杂]

           关于Processor Groups请参考https://docs.microsoft.com/en-us/windows/desktop/procthread/processor-groups
-ag#,#[,#,...]>     高级版CPU与线程绑定参数.使用-n禁用默认关联.[这个参数真的是用在比较高级的数据库服务器上,比如超过64个核心,支持热插拔CPU等]

           -a0,1,2 和-ag0,0,1,2是一样的.

            -ag0,0,1,2,g1,0,1,2指定了组0和组1中的前三个核心。

           -ag0,0,1,2和-ag1,0,1,2是一样婶的.

-b<size>[K|M|G]                        块大小,单位bytes,默认为64K,单位可以是KMG

-B<offs>[K|M|G|b]               以字节为单位的基本目标偏移量.默认为0,不偏移.例如diskspd -b4K -B512b #1 ,这样可以躲开分区表,我没试过哦!

-c<size>[K|M|G|b]                 创建文件的大小

-C<seconds>                         冷却时间-测量完成后测试的持续时间.默认为0

-D<milliseconds>                  捕获IOPs统计信息的时间间隔,默认1000ms.

-d<seconds>                                测试持续时间,默认10s.

-f<size>[K|M|G|b]                目标大小,目标可以为文件,磁盘,分区.

-f<rst>                                           使用附加访问提示打开文件.一般启用软件缓存时才适用

               -fr:文件标志随机访问提示.

               -fs:文件标志顺序扫描提示.

               -ft:文件属性临时提示.

-F<count>                                     每文件的线程总数,与-t冲突.

-g<bytes per ms>                 调整每ms给定每个线程或每个目标的字节数.此选项与完成例程(-x)不兼容.[默认:不活动].[编程用]

-h                                                    弃用,查看-Sh

-i<count>                               每次发送的IO数量,一般和-j联用.[默认:不活动]

-j<milliseconds>                   定义一次IO发送间隔<毫秒>;一般和-i联用[默认:不活动]

-I<priority>                            设置IO优先级.1-非常低,2-低,3-普通(默认)

-l                                                  使用大页面作为IO缓冲区

-L                                                 记录IO延时的统计数据

-n               禁用默认的亲和力

-o<count>                                     队列深度.(1=同步I/O,除非使用-F指定了多个线程)[默认值=2]

-O<count>                                    允许未完成几个I/O的情况下继续发送请求,和-f一起使用(1=同步I/O)

-p                                                 启动具有相同偏移量的并行顺序I/O操作(如果指定-r则忽略,只在-o2或更大时才有意义)

-P<count>                                     完成<count>个I/O操作后打印进度点(类似进度条,不是进度条),按每个线程分别计算.默认值为65536.

-r<align>[K|M|G|b]              随机I/O参数.一般单独使用-r,此时偏移量是块对齐的.带参数时,在每次I/O操作之前,将随机选择执行I/O操作的文件偏移量。所有偏移量都与-r参数指定的大小对齐。-r不能与-s参数一起使用,因为-s定义了下一个I/O操作的偏移量,在随机I/O的情况下,下一个操作的偏移量不是一个常量。如果指定-r和-s,则-r覆盖-s。

-R<text|xml>                         输出格式,默认为文本格式.

-s[i]<size>[K|M|G|b]           不完全顺序操作,增加I/O偏移量,指定-r时会自动忽略本参数.一般使用-si.与-T,-p冲突.

-S[bhmruw]                                  控制缓存行为[diskspd默认:启用缓存],与后面的bhmruw参数随意组合.

-S                                                 等同于-Su

-Sb                                                  启用缓存,默认情况下即启用此参数.

-Sh                                                  相当于suw,禁用软件/硬件缓存.常用选项.

-Sm                                                 启用内存映射I/O

-Su                                                  禁用软件缓存

-Sr                                                   禁用本地缓存,启用远程sw缓存;仅对远程文件系统有效

-Sw                                                 禁用硬件写缓存

-t<count>                                每个目标的线程数(与-F冲突)[单文件下可以参考设置为CPU总核心数,未测试]

                -F会让-t的区别 

 

-T<offs>[K|M|G|b]         不同线程在相同目标上执行的I/O操作之间的偏移量,每个目标的线程数大于1时才有意义.默认为0.起始偏移量=基本文件偏移量+(线程数*偏移量)

-b,-B,-f,-T,-s之间的关系可参照下图:

-v                                                     详细模式

-w<percentage>                         写请求的百分比.-w0和-w等效,即为读测试.

-W<seconds>                               预热时间-测量开始前测试持续时间[默认=5s]

-x                                                     使用完成例程而不是I/O完成端口.[编程用][除非有特定的原因来探究组合模型中的差异,否则通常应该保持默认状态。]

-X<filepath>                        使用XML文件配置工作负载。不能与其他参数一起使用。

-z[seed]                                参数控制DISKSPD随机数发生器的初始状态,默认为0

 -N<vni> [未翻译]

 

写缓存:

-Z             将缓冲区填充为0用于写测试.默认情况下,写缓冲区填充模式为(0, 1, 2, ..., 255, 0, 1, ...)

-Zr             每个IO设置随机缓冲区用于写测试-这将导致额外的开销用以创建随机内容.不能与没有-Zr运行的结果进行比较.

-Z<size>[K|M|G|b]      为写操作提供随机数据

-Z<size>[K|M|G|b],<file>    使用文件作为数据源来填充写源缓冲区。

 

同步:[不翻译了]

指定可以用于启动、结束、取消或发送磁盘spd通知的事件


事件追踪:[未翻译]

 

 MT标注:对于顺序读写的偏移量,我实在没搞太明白,在此标注一下:

标注1:

The -s sequential I/O parameter specifies the stride from the prior I/O to the next operation. For example, if a 64KiB stride is chosen for a 4KiB block size, the first IO will be at zero, the second at 64KiB, and so forth. 
After the whole file is read, I/O resumes at the base offset (-B) or zero, as appropriate. 
If multiple threads operate on a single target, the threads will operate independently and the target will see multiple sequential streams. This is most useful with sequential stride (-T). 
If the optional interlocked (i) qualifier is used, -si, a single interlocked offset is shared between all threads operating on a given target. This mode is most useful when a single sequential pattern is desired and a single thread is unable to fully drive very fast storage. 
标注2:跳跃读性能测试:
在0偏移量处读4Kbytes,然后间隔200Kbytes,读4Kbytes,再间隔200Kbytes,如此反复。此时的模式是读4Kbytes,间隔200Kbytes并重复这个模式。这又是一个典型的应用行为,文件中使用了数据结构并且访问这个数据结构的特定区域的应用程序常常这样做。许多操作系统并没注意到这种行为或者针对这种类型的访问做一些优化。同样,这种访问行为也可能导致一些有趣的性能异常。一个例子是在一个数据片化的文件系统里,应用程序的跳跃导致某一个特定的磁盘成为性能瓶颈。

测试用例:

使用已存在的testfile.dat文件,测试随机读性能:块大小4KB,每文件创建2个线程,队列深度32,持续时间10s,禁用软硬件缓存
diskspd.exe -b4K -t2 -o32 -d10 -Sh -r testfile.dat
(如果文件不存在可增加-c1G参数)

创建两个1GB的文件,将块大小设置为4KB,每个文件创建两个线程,亲化线程到cpu 0和1(每个文件都有与这两个cpu密切相关的线程)并运行读测试持续10秒:
diskspd.exe -c1G -b4K -t2 -d10 -a0,1 testfile1.dat testfile2.dat

 

题目:

  • 使用2个线程和1个未完成的IO进行4KB顺序写入
  • 使用2个线程和1个未完成的IO进行64KB顺序写入
  • 8KB随机读取使用2个线程,1个未完成的IO
  • 使用2个线程和1个未完成的IO进行128KB随机读取

diskspd.exe -c100G -t2 -si4K -b4K -d30 -L -o1 -w100 -D -h H:\testfile.dat > 4K_Sequential_Write_2Threads_1OutstandingIO.txt
diskspd.exe  -t2 -si64K -b64K -d30 -L -o1 -w100 -D -h H:\testfile.dat > 64KB_Sequential_Write_2Threads_1OutstandingIO.txt
diskspd.exe -r -t2 -b8K -d30 -L -o1 -w0 -D -h H:\testfile.dat > 8KB_Random_Read_2Threads_1OutstandingIO.txt
diskspd.exe -r -t2 -b128K -d30 -L -o1 -w0 -D -h H:\testfile.dat > 128KB_Random_Read_2Threads_1OutstandingIO.txt

 

测试结果解读

  • thread:生成IO的线程的编号
  • bytes:为测试传输的总字节数
  • I/Os:为测试执行的IO操作总数
  • MB/s:吞吐量,以MB /秒为单位
  • I/O per s:每秒的IO操作数
  • AvgLat:测试的所有IO操作的平均延迟
  • IopsStdDev:每秒IO操作的标准偏差
  • LatStdDev:测试遇到的延迟的标准偏差
  • file:IO测试中使用的文件的路径

99.9%[3-nines]的write操作延时为0.083,还是比较好的。

Microsoft建议日志延迟应该在1-5ms到数据延迟应该在4-20ms之间。

测试命令举例

 

 还有不明确的可以参考

https://github.com/Microsoft/diskspd

http://pugchallenge.org/downloads2016/681%20-%20diskspd_documentation.pdf

 就为了翻这么一篇我至少详细阅读了60个英文网页。翻译真TM难,翻译成人话,更更更难。

与[转帖]diskspd的使用相似的内容:

[转帖]diskspd的使用

https://www.cnblogs.com/tcicy/p/10005374.html 参数翻译 可测试目标: file_path 文件abc.file # #1为第一块物理磁盘[谨慎,别拿系统盘测试,一般用于准备投入的数据磁盘测试]

[转帖]Windows磁盘性能压测(1)-DiskSpd

http://www.manongjc.com/detail/59-xrydhtisrajqsxn.html 本文章向大家介绍Windows磁盘性能压测(1)-DiskSpd,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。 目录 一、腾讯

[转帖]

Linux ubuntu20.04 网络配置(图文教程) 因为我是刚装好的最小系统,所以很多东西都没有,在开始配置之前需要做下准备 环境准备 系统:ubuntu20.04网卡:双网卡 网卡一:供连接互联网使用网卡二:供连接内网使用(看情况,如果一张网卡足够,没必要做第二张网卡) 工具: net-to

[转帖]

https://cloud.tencent.com/developer/article/2168105?areaSource=104001.13&traceId=zcVNsKTUApF9rNJSkcCbB 前言 Redis作为高性能的内存数据库,在大数据量的情况下也会遇到性能瓶颈,日常开发中只有时刻

[转帖]ISV 、OSV、 SIG 概念

ISV 、OSV、 SIG 概念 2022-10-14 12:29530原创大杂烩 本文链接:https://www.cndba.cn/dave/article/108699 1. ISV: Independent Software Vendors “独立软件开发商”,特指专门从事软件的开发、生产、

[转帖]Redis 7 参数 修改 说明

2022-06-16 14:491800原创Redis 本文链接:https://www.cndba.cn/dave/article/108066 在之前的博客我们介绍了Redis 7 的安装和配置,如下: Linux 7.8 平台 Redis 7 安装并配置开机自启动 操作手册https://ww

[转帖]HTTPS中间人攻击原理

https://www.zhihu.com/people/bei-ji-85/posts 背景 前一段时间,公司北京地区上线了一个HTTPS防火墙,用来监听HTTPS流量。防火墙上线之前,邮件通知给管理层,我从我老大那里听说这个事情的时候,说这个有风险,然后意外地发现,很多人原来都不知道HTTPS防

[转帖]关于字节序(大小端)的一点想法

https://www.zhihu.com/people/bei-ji-85/posts 今天在一个技术群里有人问起来了,当时有一些讨论(不完全都是我个人的观点),整理一下: 为什么网络字节序(多数情况下)是大端? 早年设备的缓存很小,先接收高字节能快速的判断报文信息:包长度(需要准备多大缓存)、地

[转帖]awk提取某一行某一列的数据

https://www.jianshu.com/p/dbcb7fe2da56 1、提取文件中第1列数据 awk '{print $1}' filename > out.txt 2、提取前2列的文件 awk `{print $1,$2}' filename > out.txt 3、打印完第一列,然后打

[转帖]awk 中 FS的用法

https://www.cnblogs.com/rohens-hbg/p/5510890.html 在openwrt文件 ar71xx.sh中 查询设备类型时,有这么一句, machine=$(awk 'BEGIN{FS="[ \t]+:[ \t]"} /machine/ {print $2}' /