[转帖]磁盘的基准测试

磁盘,基准,测试 · 浏览次数 : 0

小编点评

# Running this command causes data loss on the second device.# We strongly recommend using a once-time VM and disk. sudo fio --name=fill_disk \\ --filename=/dev/sdb --filesize=2500G --ioengine=libaio --direct=1 --verify=0 --randrepeat=0 \\ --bs=128K --iodepth=64 --rw=randwrite使用具有多个（8 个或更多）并行数据流（I/O 大小为 1 MB，I/O 深度大于或等于 64）的顺序写入来测试写入带宽。 # Running this command causes data loss on the second device.# We strongly recommend using a once-time VM and disk. sudo fio --name=write_bandwidth_test \\ --filename=/dev/sdb --filesize=2500G --time_based --ramp_time=2s --runtime=1m \\ --ioengine=libaio --direct=1 --verify=0 --randrepeat=0 \\ --bs=4K --iodepth=256 --rw=randwrite测试写入延迟时间。在测试 I/O 延迟时间时，请务必不要让虚拟机达到带宽或 IOPS 上限，否则观察到的延迟时间将无法反映出实际的永久性磁盘 I/O 延迟时间。 # Running this command causes data loss on the second device.# We strongly recommend using a once-time VM and disk. sudo fio --name=read_bandwidth_test \\ --filename=/dev/sdb --filesize=2500G --time_based --ramp_time=2s --runtime=1m \\ --ioengine=libaio --direct=1 --verify=0 --randrepeat=0 \\ --bs=1M --iodepth=64 --rw=read --numjobs=8 --offset_increment=100G测试读取 IOPS。 # Running this command causes data loss on the second device.# We strongly recommend using a once-time VM and disk. sudo fio --name=read_iops_test \\ --filename=/dev/sdb --filesize=2500G --time_based --ramp_time=2s --runtime=1m \\ --ioengine=libaio --direct=1 --verify=0 --randrepeat=0 \\ --bs=4K --iodepth=256 --rw=randread使用具有多个（8 个或更多）并行数据流（I/O 大小为 1 MB，I/O 深度等于 64 或更大）的顺序读取来测试读取 IOPS。 # Running this command causes data loss on the second device.# We strongly recommend using a once-time VM and disk. sudo fio --name=read_read_bandwidth_test \\ --filename=/dev/sdb --filesize=2500G --time_based --ramp_time=2s --runtime=1m \\ --ioengine=libaio --direct=1 --verify=0 --randrepeat=0 \\ --bs=1M --iodepth=64 --rw=read --numjobs=8 --offset_increment=100G测试顺序写入带宽。 # Running this command causes data loss on the second device.# We strongly recommend using a once-time VM and disk. sudo fio --name=write_bandwidth_test \\ --filename=/dev/sdb --filesize=2500G --time_based --ramp_time=2s --runtime=1m \\ --ioengine=libaio --direct=1 --verify=0 --randrepeat=0 \\ --numjobs=4 --thread --offset_increment=500G --bs=1M --iodepth=64 --rw=write测试顺序写入带宽。 # Running this command causes data loss on the second device.# We strongly recommend using a once-time VM and disk. sudo fio --name=read_bandwidth_test \\ --filename=/dev/sdb --filesize=2500G --time_based --ramp_time=2s --runtime=1m \\ --ioengine=libaio --direct=1 --verify=0 --randrepeat=0 \\ --numjobs=4 --thread --offset_increment=500G --bs=1M --iodepth=64 --rw=read测试顺序写入带宽。 # Running this command causes data loss on the second device.# We strongly recommend using a once-time VM and disk. sudo fio --name=write_bandwidth_test \\ --filename=/dev/sdb --filesize=2500G --time_based --ramp_time=2s --runtime=1m \\ --ioengine=libaio --direct=1 --verify=0 --randrepeat=0 \\ --numjobs=4 --thread --offset_increment=500G --bs=1M --iodepth=64 --rw=write

正文

https://www.jianshu.com/p/0e25657d016d

参考

摘抄自对永久性磁盘的性能进行基准化分析

正文

如需对永久性磁盘的性能进行基准化分析，请使用 FIO，而不是 dd 等其他磁盘基准化分析工具。默认情况下，dd 使用非常低的 I/O 队列深度，因此难以确保基准生成足够数量的 I/O 和字节来准确测试磁盘性能。

此外，与 dd 配合使用的特殊设备的运行速度通常非常慢，无法准确反映永久性磁盘的性能。一般而言，请避免在永久性磁盘的性能基准中使用 /dev/urandom、/dev/random 和 /dev/zero 等特殊设备。

如需衡量正在运行的实例上正在使用的磁盘的 IOPS 和吞吐量，请使用预期的配置对文件系统进行基准化分析。使用此选项可测试实际工作负载，而不会丢失现有磁盘上的内容。请注意，在对现有磁盘上的文件系统进行基准化分析时，有很多特定于开发环境的因素可能会影响基准化分析结果，并且您可能不会达到磁盘性能限制。

如需衡量永久性磁盘的原始性能，请直接对块设备进行基准化分析。使用此选项可将原始磁盘性能与磁盘性能限制进行比较。

以下命令适用于安装了 apt 软件包管理器的 Debian 或 Ubuntu 操作系统。

对正在运行的实例上的磁盘的 IOPS 和吞吐量进行基准化分析

如果要衡量正在运行的实例上活跃磁盘的实际工作负载的 IOPS 和吞吐量，而不丢失磁盘的内容，请对照现有文件系统上的新目录进行基准化分析。

连接到您的实例。
安装依赖项：

sudo apt update
sudo apt install -y fio

在终端中，列出挂接到虚拟机的磁盘，并找到要测试的磁盘。如果您的永久性磁盘尚未格式化，请格式化并装载该磁盘。

sudo lsblk

NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda      8:0    0   10G  0 disk
└─sda1   8:1    0   10G  0 part /
sdb      8:32   0  2.5T  0 disk /mnt/disks/mnt_dir

在此示例中，我们测试的是一个设备 ID 为 `sdb` 的 2500 GB SSD 永久性磁盘。

在磁盘上创建一个新目录 fiotest。在此示例中，该磁盘装载在 /mnt/disks/mnt_dir：

TEST_DIR=/mnt/disks/mnt_dir/fiotest
sudo mkdir -p $TEST_DIR

使用 1 MB 的 I/O 块大小和至少 64 的 I/O 深度，通过执行具有多个（8 个或更多）并行数据流的顺序写入来测试写入吞吐量：

sudo fio --name=write_throughput --directory=$TEST_DIR --numjobs=8 \
--size=10G --time_based --runtime=60s --ramp_time=2s --ioengine=libaio \
--direct=1 --verify=0 --bs=1M --iodepth=64 --rw=write \
--group_reporting=1

使用 4 KB 的 I/O 块大小和至少 64 的 I/O 深度，通过执行随机写入来测试写入 IOPS：

sudo fio --name=write_iops --directory=$TEST_DIR --size=10G \
--time_based --runtime=60s --ramp_time=2s --ioengine=libaio --direct=1 \
--verify=0 --bs=4K --iodepth=64 --rw=randwrite --group_reporting=1

使用 1 MB 的 I/O 块大小和至少 64 的 I/O 深度，通过执行具有多个（8 个或更多）并行数据流的顺序读取来测试读取吞吐量：

sudo fio --name=read_throughput --directory=$TEST_DIR --numjobs=8 \
--size=10G --time_based --runtime=60s --ramp_time=2s --ioengine=libaio \
--direct=1 --verify=0 --bs=1M --iodepth=64 --rw=read \
--group_reporting=1

使用 4 KB 的 I/O 块大小和至少 64 的 I/O 深度，通过执行随机读取来测试读取 IOPS：

sudo fio --name=read_iops --directory=$TEST_DIR --size=10G \
--time_based --runtime=60s --ramp_time=2s --ioengine=libaio --direct=1 \
--verify=0 --bs=4K --iodepth=64 --rw=randread --group_reporting=1

清理：

sudo rm $TEST_DIR/write* $TEST_DIR/read*

对原始永久性磁盘的性能进行基准化分析

如果要在开发环境之外单独衡量永久性磁盘的性能，请在一次性永久性磁盘和虚拟机上测试块设备的读写性能。

以下命令假定您的虚拟机挂接了一个 2500 GB 的 SSD 永久性磁盘。如果您设备的容量大小不同，请修改 --filesize 参数的值。此磁盘大小是实现 32 个 vCPU 虚拟机吞吐量限制所必需的。如需了解详情，请参阅块存储性能。

警告：本部分中的命令将覆盖 /dev/sdb 的内容。我们强烈建议使用一次性的虚拟机和磁盘。

连接到您的实例。
安装依赖项：

sudo apt-get update
sudo apt-get install -y fio

使用非零数据填充磁盘。对于永久性磁盘而言，从空白的磁盘块读取内容的延迟配置文件与包含数据的磁盘块不同。我们建议您在运行任何读取延迟基准化分析之前先填充磁盘。

# Running this command causes data loss on the second device.
# We strongly recommend using a throwaway VM and disk.
sudo fio --name=fill_disk \
  --filename=/dev/sdb --filesize=2500G \
  --ioengine=libaio --direct=1 --verify=0 --randrepeat=0 \
  --bs=128K --iodepth=64 --rw=randwrite

使用具有多个（8 个或更多）并行数据流（I/O 大小为 1 MB，I/O 深度大于或等于 64）的顺序写入来测试写入带宽。

# Running this command causes data loss on the second device.
# We strongly recommend using a throwaway VM and disk.
sudo fio --name=write_bandwidth_test \
  --filename=/dev/sdb --filesize=2500G \
  --time_based --ramp_time=2s --runtime=1m \
  --ioengine=libaio --direct=1 --verify=0 --randrepeat=0 \
  --bs=1M --iodepth=64 --rw=write --numjobs=8 --offset_increment=100G

测试写入 IOPS。如需达到永久性磁盘的 IOPS 上限，您必须维护一个较深的 I/O 队列。例如，如果写入延迟时间为 1 毫秒，则对于每个正在执行的 I/O，虚拟机最多可以达到 1000 IOPS。如需达到 15000 写入 IOPS，虚拟机必须维护至少 15 个正在执行的 I/O。如果您的磁盘和虚拟机能够达到 30000 次写入 IOPS，则正在执行的 I/O 数量必须至少有 30 个。如果 I/O 大小超过 4 KB，则虚拟机在达到 IOPS 上限之前可能会先达到带宽上限。

# Running this command causes data loss on the second device.
# We strongly recommend using a throwaway VM and disk.
sudo fio --name=write_iops_test \
  --filename=/dev/sdb --filesize=2500G \
  --time_based --ramp_time=2s --runtime=1m \
  --ioengine=libaio --direct=1 --verify=0 --randrepeat=0 \
  --bs=4K --iodepth=256 --rw=randwrite

测试写入延迟时间。在测试 I/O 延迟时间时，请务必不要让虚拟机达到带宽或 IOPS 上限，否则观察到的延迟时间将无法反映出实际的永久性磁盘 I/O 延迟时间。例如：如果在 I/O 深度为 30 时达到了 IOPS 上限，并且 fio 命令已将其加倍，则总 IOPS 将保持不变，并且所报告的 I/O 延迟时间将加倍。

# Running this command causes data loss on the second device.
# We strongly recommend using a throwaway VM and disk.
sudo fio --name=write_latency_test \
  --filename=/dev/sdb --filesize=2500G \
  --time_based --ramp_time=2s --runtime=1m \
  --ioengine=libaio --direct=1 --verify=0 --randrepeat=0 \
  --bs=4K --iodepth=4 --rw=randwrite

使用具有多个（8 个或更多）并行数据流（I/O 大小为 1 MB，I/O 深度等于 64 或更大）的顺序读取来测试读取带宽。

sudo fio --name=read_bandwidth_test \
  --filename=/dev/sdb --filesize=2500G \
  --time_based --ramp_time=2s --runtime=1m \
  --ioengine=libaio --direct=1 --verify=0 --randrepeat=0 \
  --bs=1M --iodepth=64 --rw=read --numjobs=8 --offset_increment=100G

测试读取 IOPS。如需达到永久性磁盘的 IOPS 上限，您必须维护一个较深的 I/O 队列。例如，如果 I/O 大小超过 4 KB，则虚拟机在达到 IOPS 上限之前可能会先达到带宽上限。如需达到 10 万次读取 IOPS 上限，请为该测试指定 --iodepth=256。

sudo fio --name=read_iops_test \
  --filename=/dev/sdb --filesize=2500G \
  --time_based --ramp_time=2s --runtime=1m \
  --ioengine=libaio --direct=1 --verify=0 --randrepeat=0 \
  --bs=4K --iodepth=256 --rw=randread

测试读取延迟时间。请务必用数据填充磁盘，以获得真实的延迟时间测量结果。在此测试期间，请确保不要让虚拟机达到 IOPS 或吞吐量上限，因为一旦永久性磁盘达到其饱和上限，它将拒绝传入的 I/O，这将反映为 I/O 延迟时间的人为增加。

sudo fio --name=read_latency_test \
  --filename=/dev/sdb --filesize=2500G \
  --time_based --ramp_time=2s --runtime=1m \
  --ioengine=libaio --direct=1 --verify=0 --randrepeat=0 \
  --bs=4K --iodepth=4 --rw=randread

测试顺序读取带宽。

sudo fio --name=read_bandwidth_test \
  --filename=/dev/sdb --filesize=2500G \
  --time_based --ramp_time=2s --runtime=1m \
  --ioengine=libaio --direct=1 --verify=0 --randrepeat=0 \
  --numjobs=4 --thread --offset_increment=500G \
  --bs=1M --iodepth=64 --rw=read

测试顺序写入带宽。

sudo fio --name=write_bandwidth_test \
  --filename=/dev/sdb --filesize=2500G \
  --time_based --ramp_time=2s --runtime=1m \
  --ioengine=libaio --direct=1 --verify=0 --randrepeat=0 \
  --numjobs=4 --thread --offset_increment=500G \
  --bs=1M --iodepth=64 --rw=write

[转帖]磁盘的基准测试

小编点评

正文

参考

正文

对正在运行的实例上的磁盘的 IOPS 和吞吐量进行基准化分析

对原始永久性磁盘的性能进行基准化分析

与[转帖]磁盘的基准测试相似的内容：

[转帖]磁盘的基准测试

[转帖]磁盘的基准测试

[转帖]磁盘的基准测试

[转帖]磁盘性能基准测试

[转帖]Linux系统IO基准测试方法

[转帖]Unixbench的使用（综合性能测试、2D测试）和问题解决（跑不出多线程分数，调不出窗口，报错等）

[转帖]io 性能指标及其基准测试

[转帖]对磁盘进行基准检验

[转帖]Linux开源存储漫谈（2）IO性能测试利器fio

[转帖]Unixbench服务器综合性能测试方法及工具下载

# 热门排行