[转帖]fio 命令入门到跑路

fio,命令,入门 · 浏览次数 : 0

小编点评

##fio介绍 fio是一种 I/O工具,用于基准测试和压力/硬件验证。它支持 19 种不同类型的 I/O引擎,支持 I/O优先级、评估 I/O、分叉或线程作业等等。它可以在块设备和文件上工作。 **主要功能:** * 支持多种 I/O引擎 * 支持 I/O 优先级 * 支持评估 I/O * 支持分叉或线程作业 * 支持文件操作 **配置文件:** 可以将配置文件存储在 `fio.conf` 中。配置文件包含以下参数: * `ioengine`: I/O引擎名称 * `direct`:是否使用直接 I/O * `thread`:并行处理线程数 * `randommap`:是否使用随机映射 * `randrepeat`:随机读写次数 * `runtime`:测试运行时间 * `iodepth`:深度遍历 * `filename`:要测试的文件名 * `ioengine`:I/O引擎名称 **示例配置文件 (fio.conf):** ``` ioengine=libaio direct=1 thread=1 randommap=1 randrepeat=0 runtime=60 iodepth=32 filename=/dev/sda1 ioengine=libaio ``` **使用方法:** 1. 创建一个包含要测试的设备的文件。 2. 创建一个名为 `fio.conf` 的配置文件,并将其保存到设备中。 3. 使用 `fio` 命令执行测试。 4. 查看测试结果。 **注意:** * `fio` 只能用于对磁盘进行测试。 * 测试结果可能因设备和测试条件而异。 * 使用 `fio` 测试之前,请确保设备已正常运行。

正文

fio是一种I / O工具,用于基准测试和压力/硬件验证。它支持19种不同类型的I / O引擎(sync,mmap,libaio,posixaio,SG v3,splice,null,network,syslet,guasi,solarisaio等),I / O优先级(适用于较新的Linux内核) ,评估I / O,分叉或线程作业等等。它可以在块设备和文件上工作。fio以简单易懂的文本格式接受职位描述。包含几个示例作业文件。fio显示各种I / O性能信息,包括完整的IO延迟和百分位数。Fio在许多地方广泛使用,用于基准测试,QA和验证目的。它支持Linux,FreeBSD,NetBSD,OpenBSD,OS X,OpenSolaris,AIX,HP-UX,Android和Windows。
fio 官网地址:http://freshmeat.net/projects/fio/

安装:  

        yum install fio –y

image

用法

      fio分顺序读  -rw=read ,随机读 -rw=randread,顺序写 -rw=write,随机写-rw=randwrite ,混合随机读写模式  -rw=randrw

参数:

       filename: 指定文件(设备)的名称。可以通过冒号分割同时指定多个文件,如filename=/dev/sda:/dev/sdb。

       directory: 设置filename的路径前缀。在后面的基准测试中,采用这种方式来指定设备。

       name: 指定job的名字,在命令行中表示新启动一个job。

       direct: bool类型,如果设置成true (1),表示不使用io buffer。

        ioengine: I/O引擎,现在fio支持19种ioengine。默认值是sync同步阻塞I/O,libaio是Linux的native异步I/O。

       iodepth: 如果ioengine采用异步方式,该参数表示一批提交保持的io单元数。该参数可参考文章“Fio压测工具和io队列深度理解和误区”。

       rw: I/O模式,随机读写,顺序读写等等。

       bs: I/O block大小,默认是4k。

       size: 指定job处理的文件的大小。

       numjobs: 指定job的克隆数(线程)。

       time_based: 如果在runtime指定的时间还没到时文件就被读写完成,将继续重复知道runtime时间结束。

       runtime: 指定在多少秒后停止进程。如果未指定该参数,fio将执行至指定的文件读写完全完成。

       group_reporting: 当同时指定了numjobs了时,输出结果按组显示。

下面是带数字的解释:

  1. direct=1 #测试过程绕过机器自带的buffer。使测试结果更真实
  2. rw=randwrite #测试随机写的I/O
  3. rw=randrw #测试随机写和读的I/O
  4. bs=16k #单次io的块文件大小为16k
  5. bsrange=512-2048 #同上,提定数据块的大小范围
  6. size=5G #本次的测试文件大小为5g,以每次4k的io进行测试
  7. numjobs=30 #本次的测试线程为30个
  8. runtime=1000 #测试时间1000秒,如果不写则一直将5g文件分4k每次写完为止
  9. ioengine=psync #io引擎使用psync方式
  10. rwmixwrite=30 #在混合读写的模式下,写占30%
  11. group_reporting #关于显示结果的,汇总每个进程的信息
  12. lockmem=1G #只使用1g内存进行测试
  13. zero_buffers #用0初始化系统buffer
  14. nrfiles=8 #每个进程生成文件的数量

       filename参数指定某个要测试的裸设备(硬盘或分区),切勿在系统分区做测试,会破坏系统分区,而导致系统崩溃。若一定要测试系统分区较为安全的方法是:在根目录下创建一个空目录,在测试命令中使用directory参数指定该目录,而不使用filename参数。

例如:要测试根目录

               mkdir /test/
               fio -directory=/test/ ……

我建了一个/data

fio -directory=/data/ -name=tempfile.dat -direct=1 -rw=randwrite -bs=4k -size=1M -numjobs=16 -time_based -runtime=100 -group_reporting

image

 

看看生成的一堆文件

QQ截图20181120103917.png

#复制下面的配置内容,将directory=/path/to/test修改为你测试硬盘挂载目录的地址,并另存为fio.conf

  1. [global]
  2. ioengine=libaio
  3. direct=1
  4. thread=1
  5. norandommap=1
  6. randrepeat=0
  7. runtime=60
  8. ramp_time=6
  9. size=1g
  10. directory=/data
  11. [read4k-rand]
  12. stonewall
  13. group_reporting
  14. bs=4k
  15. rw=randread
  16. numjobs=8
  17. iodepth=32
  18. [read64k-seq]
  19. stonewall
  20. group_reporting
  21. bs=64k
  22. rw=read
  23. numjobs=4
  24. iodepth=8
  25. [write4k-rand]
  26. stonewall
  27. group_reporting
  28. bs=4k
  29. rw=randwrite
  30. numjobs=2
  31. iodepth=4
  32. [write64k-seq]
  33. stonewall
  34. group_reporting
  35. bs=64k
  36. rw=write
  37. numjobs=2
  38. iodepth=4

 

#测试

fio fio.conf

 

--------------------- 

怎么跑路的:

    我之前用的dd命令测试的硬盘性能

•使用dd命令来测量服务器的吞吐率(写速度) dd if=/dev/zero of=/tmp/test1.img bs=1G count=1 oflag=dsync

•使用dd命令测量服务器延迟 dd if=/dev/zero of=/tmp/test2.img bs=512 count=1000 oflag=dsync

•if=/dev/zero (if=/dev/input.file) :用来设置dd命令读取的输入文件名。 

•of=/tmp/test1.img (of=/path/to/output.file):dd命令将input.file写入的输出文件的名字。 

•bs=1G (bs=block-size) :设置dd命令读取的块的大小。例子中为1个G。 

•count=1 (count=number-of-blocks):dd命令读取的块的个数。 

•oflag=dsync (oflag=dsync) :使用同步I/O。不要省略这个选项。这个选项能够帮助你去除caching的影响,以便呈现给你精准的结果。 

•conv=fdatasyn: 这个选项和oflag=dsync含义一样。

QQ截图20181120104029.png

 

 

QQ群里一个小伙说用fio测试才准确,差 你个糟老头子,我信了你个鬼。

QQ截图20181120104127.png

我就执行了下面的命令 ,sda1是系统所在的盘。

fio -name iops -rw=write -bs=4k -runtime=60 -iodepth 32 -filename /dev/sda1 -ioengine libaio -direct=1

还没执行完系统就断了,联系机房看了下报错,文件系统崩溃了,哎 哎 哎 不让说哎 就说哎

 

webwxgetmsgimg (2).jpg

 

我能怎么办只能下面这个样子了:

timg.jpg

dd命令测试的是对的

dd if=/dev/zero of=/tmp/test.dbf bs=4k count=10000  oflag=dsync

QQ截图20181122081935.png

另外一个就快

QQ截图20181122082134.png

为什么差距这么大呢?后来发现是因为一个是sas卡 一个是raid卡 raid卡有缓存比sas卡快

QQ截图20181121154444.png

QQ截图20181121154534.png

 

到最后终于找到原因了,奉劝你不要用这个fio命令,赶紧忘记他,去你的fio命令

与[转帖]fio 命令入门到跑路相似的内容:

[转帖]fio 命令入门到跑路

fio是一种I / O工具,用于基准测试和压力/硬件验证。它支持19种不同类型的I / O引擎(sync,mmap,libaio,posixaio,SG v3,splice,null,network,syslet,guasi,solarisaio等),I / O优先级(适用于较新的Linux内核)

[转帖]FIO磁盘性能测试工具

https://www.cnblogs.com/lyhabc/p/16708771.html 简介 一般我们测试硬盘或者存储的性能的时候,会用Linux系统自带的dd命令,因为是自带命令,简单易使用,因此一些客户喜欢使用dd命令来测试磁盘的读写性能。 但是用dd命令来测试性能,有如下问题: 1. d

[转帖]FIO磁盘性能测试工具

https://www.cnblogs.com/lyhabc/p/16708771.html 简介 一般我们测试硬盘或者存储的性能的时候,会用Linux系统自带的dd命令,因为是自带命令,简单易使用,因此一些客户喜欢使用dd命令来测试磁盘的读写性能。 但是用dd命令来测试性能,有如下问题: 1. d

[转帖]使用FIO工具对系统进行存储压力测试

https://www.modb.pro/db/495753 安装fio yum -y install fio.x86_64[root@localhost ~]# rpm -qa|grep fio #为了测试异步I/O , 需要安装libaio 。安装libaio-devel包可以直接使用如下命令[

[转帖]018 磁盘 IO 性能监控 / 压测工具 (sar、iotop、fio、iostat)

https://my.oschina.net/u/3113381/blog/5465063 1 sar 命令查看当前磁盘 IO 读写 sar(System Activity Reporter 系统活动情况报告)是 Linux 上最为全面的系统性能分析工具之一,可以从多方面对系统的活动进行报告,包括:

[转帖]fio测试硬盘性能

FIO 是测试磁盘性能的工具,用来对硬件进行压力测试和验证。 使用 FIO 时,建议配合使用 libaio 的 I/O 引擎进行测试。 软件安装 编译安装 fio各版本下载地址如下: https://github.com/axboe/fio/releases 以“fio-2.1.10”版本为例,下载

【转帖】FIO磁盘性能测试工具

https://www.jianshu.com/p/70b8c7d5d217 FIO工具介绍 FIO 工具是一款用于测试硬件存储性能的辅助工具,兼具灵活性、可靠性从而从众多性能测试工具中脱颖而出。磁盘的 I/O 是衡量硬件性能的最重要的指标之一,而 FIO 工具通过模拟 I/O负载对存储介质进行压力

[转帖]FIO 存储性能压测

测试环境 3台服务器:ceph配置内外网分离,外网使用万兆线,内网使用千兆线,osd共21个。 1台客户端:安装fio工具、内核客户端,使用万兆线。 测试目的 针对fio工具中的iodepth(队列深度)和numjobs(线程数)参数,分析使用fio工具时,哪个参数对带宽值测试结果影响比较大。 测试

[转帖]FIO 存储性能压测

一、 FIO简介 FIO 是一个多线程IO生成工具,可以生成多种IO模式(随机、顺序、读、写四大类),用来测试磁盘设备的性能。GFIO是FIO的图形监测工具,它提供了图形界面的参数配置,和性能监测图像。 在github上的链接为 https://github.com/axboe/fio 二、 FIO

[转帖]FIO – IO压力测试工具

`https://blog.csdn.net/younger_china/article/details/71129541` 《存储工具系列文章》主要介绍存储相关的测试和调试工具,包括不限于dd、fio、vdbench、iozone、iometer、cosbench等性能负载工具,及strace等调