[转帖]Linux文件系统的几个性能测试软件小结

linux,文件系统,几个,性能,测试软件,小结 · 浏览次数 : 0

小编点评

## 生成内容时需要带简单的排版 **1.介绍** * 文件系统性能测试工具概述 * 几个测试参数含义 **2.文件系统性能测试工具** * 3.Simul** * 只能创建目录树 * 每个等级下创建1个目录,每个目录下文件的个数为10K * 创建的目录结构的等级为2 * 每等级下创建的目录个数为10 * 每个等级下创建的目录个数为10 * 4.Fdtree** * 只能创建目录树 * 每个等级下创建1个目录,每个目录下文件的个数为10K * 创建的目录结构的等级为100 * 每等级下创建的目录个数为10 **3.其他工具** * 2.Mdtest** * 测试文件系统元数据性能 * 3.Simul** * 只能模拟多个结点和进程 * 4.Fdtree** * 只能测试文件系统元数据性能 **4.生成内容时需要带简单的排版** * 使用简单的排版将测试结果和参数显示到文上 * 例如: * 3.Simul 测试结果: * All test passed! *目录等级为5 *每个等级下创建的目录个数为5 *每个目录下创建的目录个数为10 * 4.Fdtree 测试结果: *目录等级为100 *每个等级下创建的目录个数为10 *每个目录下创建的目录个数为10 *每个目录下创建的目录个数为10 **5.其他说明** * 以上内容仅供参考,具体内容需要根据需求进行修改

正文

https://developer.aliyun.com/article/297631#:~:text=Linux%E6%96%87%E4%BB%B6%E7%B3%BB%E7%BB%9F%E7%9A%84%E5%87%A0%E4%B8%AA%E6%80%A7%E8%83%BD%E6%B5%8B%E8%AF%95%E8%BD%AF%E4%BB%B6%E5%B0%8F%E7%BB%93%201%201.Iozone%20iozone%E6%98%AF%E4%B8%80%E4%B8%AA%E6%96%87%E4%BB%B6%E7%B3%BB%E7%BB%9F%E7%9A%84benchmark%E5%B7%A5%E5%85%B7%EF%BC%8C%E5%8F%AF%E4%BB%A5%E6%B5%8B%E8%AF%95%E4%B8%8D%E5%90%8C%E7%9A%84%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F%E4%B8%AD%E6%96%87%E4%BB%B6%E7%B3%BB%E7%BB%9F%E7%9A%84%E8%AF%BB%E5%86%99%E6%80%A7%E8%83%BD%E3%80%82%20%E5%8F%AF%E4%BB%A5%E6%B5%8B%E8%AF%95%20Read%2C%20write%2C%20re-read%2C,...%203%203.Simul%20Simul%E6%98%AF%E4%B8%80%E4%B8%AA%E5%B9%B6%E8%A1%8C%E6%96%87%E4%BB%B6%E7%B3%BB%E7%BB%9F%E7%9A%84%E6%B5%8B%E8%AF%95%E5%B7%A5%E5%85%B7%EF%BC%8C%E5%AE%83%E5%8F%AF%E4%BB%A5%E5%90%8C%E6%97%B6%E6%A8%A1%E6%8B%9F%E5%A4%9A%E4%B8%AA%E7%BB%93%E7%82%B9%E5%92%8C%E8%BF%9B%E7%A8%8B%E6%9D%A5%E6%89%A7%E8%A1%8C%E6%96%87%E4%BB%B6%E7%B3%BB%E7%BB%9F%E7%9A%84%E6%93%8D%E4%BD%9C%E6%9D%A5%E6%B5%8B%E8%AF%95%E5%B9%B6%E8%A1%8C%E6%96%87%E4%BB%B6%E7%B3%BB%E7%BB%9F%E7%9A%84%E5%87%86%E7%A1%AE%E6%80%A7%E5%92%8C%E4%B8%80%E8%87%B4%E6%80%A7%E3%80%82%20%E4%B8%BB%E8%A6%81%E5%8F%82%E6%95%B0%E5%90%AB%E4%B9%89%EF%BC%9A%20...%204%204.Fdtree

 

简介: 曾经测试Linux系统下的分布式集群系统的性能,使用了一些测试软件,公司让我给部门同事做一次基础培训,于是翻看以前所写的记录资料挑选了其中几个,所记之处并不完全,只记录使用的功能。 1.Iozone iozone是一个文件系统的benchmark工具,可以测试不同的操作系统中文件系统的读写性能。

曾经测试Linux系统下的分布式集群系统的性能,使用了一些测试软件,公司让我给部门同事做一次基础培训,于是翻看以前所写的记录资料挑选了其中几个,所记之处并不完全,只记录使用的功能。

1.Iozone

iozone是一个文件系统的benchmark工具,可以测试不同的操作系统中文件系统的读写性能。

可以测试 Read, write, re-read, re-write, readbackwards, read strided, fread, fwrite, random read, pread, mmap, aio_read,aio_write 等等不同的模式下的硬盘的性能。

测试参数: -i # 用来指定测试内容,我主要用到以下两种:

 0=write/rewrite

 1=read/re-read

例如测试写:-i 0,测试读和写:-i 0 -i 1。

-R 产生execl格式的输出日志

-b 将产生二进制的execl的日志文件名

-s 测试的文件大小

-r 文件块大小

-a 在希望的文件系统上测试,不过只有-a的话会进行全面测试,要花费很长时间,最好用-i指定测试范围。

上图显示了一个iozone的测试ext3本地文件系统结果的一部分,测试文件块的大小为1m,测试文件的大小4G,测试包括文件的关闭时间和flush时间,测试内容包含写/重写、读/重读,测试时产生的二进制日志会保存在/home目录下的test.xls中。

通常情况下,测试的文件大小要求至少是系统cache的两倍以上,这样,测试的结果才是真是可信的。如果小于cache的两倍,文件的读写测试读写的将是cache的速度,测试的结果大打折扣。

2.Mdtest

Mdtest是一个测试文件系统元数据性能的工具。

我们经常用到的一些参数的含义:

-d 测试运行的目录

-i 测试循环的次数

-n 每个进程将要创建/统计/删除的目录和文件数目

-w 文件创建以后写入多少bytes

-p 循环前的时间延迟

-D 只针对目录进行测试

-F 只针对文件进行测试

上图是一个mdtest的测试结果,测试参数为:测试运行的目录为/mnt/aaa,创建/统计/删除的目录和文件数为30000,反复执行3次。

从上图可看到目录创建每秒能够完成的操作数最大为7016.495次,每秒能够完成的操作数平均为6691.628次;文件创建每秒能够完成的操作数最大为63521.371次,每秒能够完成的操作数平均为62325.578次。(因测试为本地文件系统,故数值比较大)

3.Simul

 

Simul是一个并行文件系统的测试工具,它可以同时模拟多个结点和进程来执行文件系统的操作来测试并行文件系统的准确性和一致性。

主要参数含义:

-d 测试将要运行的目录

-f 开始测试时的测试编号(缺省为0)

-l 最后测试时的测试编号(缺省为39)

-i 测试过程中包含的测试编号

-e 测试过程中不包括的测试编号

-n每次测试重复的次数

-N 所有的测试重复的次数

由上图可知,测试目录为/mnt/aaa/,测试执行0到39的所有测试,测试结果为All test passed!

4.Fdtree

Fdtree是一个用来测试文件系统元数据性能的工具,同时也可以用来进行压力测试。

参数含义:

-C 只创建目录树

-D 打开调试

-R 只移除目录树

-l 创建目录的递归等级,默认为4

-d 每个等级所要创建的目录个数

-f 每个目录下所要创建的文件个数

-o 开始测试时的路径名

-s 文件大小(是以block计算的,linux下block大小为4096Bytes),默认为10

fdtree.bash –d 1 –l 2 –f 10000 –s10000

这个例子是一个文件压力的测试,创造的目录结构的等级为2,每个等级下创建1个目录,每个目录下文件的个数为10K,每个文件的大小为10000*4096Bytes=40.96MB,总的数据大小为2*10000*40.96MB=819.2GB。

fdtree.bash -d 10000 -l 100

这个例子是一个目录压力的测试,创造的目录结构的等级为100,每个等级下目录的个数为10K。第一等级下的总目录个数为10K,第二等级下的总目录总个数为10K*10K,第三等级下的总目录个数为10K*10K*10K,依次类推!

上图显示了一个Fdtree的测试结果,目录等级为5,每个等级下创建目录的个数为5,每个目录下文件的个数为5,文件大小为40KB。

与[转帖]Linux文件系统的几个性能测试软件小结相似的内容:

[转帖]Linux文件系统的几个性能测试软件小结

https://developer.aliyun.com/article/297631#:~:text=Linux%E6%96%87%E4%BB%B6%E7%B3%BB%E7%BB%9F%E7%9A%84%E5%87%A0%E4%B8%AA%E6%80%A7%E8%83%BD%E6%B5%8B%E8

[转帖]dmidecode详解

跟硬件相关的命令有uname, lspci,/proc目录下的文件等,有时候Linux/Unix系统下获取有关硬件方面的信息,这个时候,就要用到dmidecode, 使用该命令可以查询BIOS、系统、主板、处理器、内存、缓存等非常重要信息。下面是其常用的几个命令: # dmidecode | gre

[转帖]记录几个常用linux命令的使用方法——find、grep、file、which、whereis和压缩命令gzip、bzip2、tar

一、命令1: find、grep、file、which、whereis 1、find 目的:查找符合条件的文件 1)在哪些目录中查找 2)查找的内容 格式: find 目录名 选项 查找条件 举例: 1)find /work -name "test1.txt" 说明: /work 指明了查找的路径-

[转帖] Linux查看日志文件写入速度的4种方法

https://www.cnblogs.com/codelogs/p/16365448.html 简介# 有时,我们需要查看某个文件的增长速度,如日志文件,以此来感受系统的负载情况,因为一般情况下,日志写入越快,说明系统负载越重。 本文就来介绍下Linux中查看日志增长速度的几种方法,如下: 使用d

[转帖]linux服务器内核参数优化(3)

https://cloud.tencent.com/developer/article/1820378?from=article.detail.1956187&areaSource=106000.16&traceId=lr3VPq-YZBl2ynblhnK3h 在这个文件中,加入下面的几行内容: n

[转帖]Linux内核映像vmlinux、Image、zImage、uImage区别

本文介绍几种常用的Linux内核映像的区别。 一、vmlinux vmlinux:Linux内核编译出来的原始的内核文件,elf格式,未做压缩处理。 该映像可用于定位内核问题,但不能直接引导Linux系统启动。 使用readelf命令查看RockPI 4A单板Linux内核编译的vmlinux,内容

[转帖]Linux内核映像vmlinux、Image、zImage、uImage区别

https://zhuanlan.zhihu.com/p/466226177 本文介绍几种常用的Linux内核映像的区别。 一、vmlinux vmlinux:Linux内核编译出来的原始的内核文件,elf格式,未做压缩处理。 该映像可用于定位内核问题,但不能直接引导Linux系统启动。 使用rea

[转帖]GDB调试core文件

在Linux环境下C程序经常会出现A segmentation fault(段错误),如果我们的程序只有几十行,那么我们可以通过printf输出调试来找到哪个地方出现了异常,但如果是在项目中,如果我们还是通过print找查找错误,那么效率会很低。那么我们来学习一下Linux环境下通过core文件来找

[转帖]Linux Storage Stack Diagram - Linux I/O系统

https://www.cnblogs.com/xuyaowen/p/linux-io-system.html 今天看到一篇文章,其中有几张图很有意思,进行记录一下,我相信如果你对IO子系统有初步了解的话,将会有一些收获: Linux 存储栈:涉及比较全面,分为文件系统层,块层,设备层三层; 对上图

[转帖]Linux 文件系统 EXT4 的前世今生

https://www.oschina.net/translate/introduction-ext4-filesystem?print 在先前关于Linux文件系统的文章中,我写了一份说明书去介绍Linux文件系统,里面有一些高级的概念,比如说,一切都是文件。我很想去深入地讨论更多EXT文件系统的