正文
dd命令简介
dd
Copy a file, converting and formatting according to the operands.
dd 可以理解为是 disk dump 磁盘转储的含义
他不仅仅可以用于测试磁盘的简要读写速度
还可以进行文件备份转储等.
命令介绍
time dd if=/dev/zero of=test bs=8k count=20k oflag=dsync oflag=dsync
time dd if=test of=/dev/null bs=8k oflag=dsync
time dd if=test of=/var/test bs=64k oflag=dsync
time有计时作用,dd用于复制,从if读出,写到of;
if=/dev/zero不产生IO,因此可以用来测试纯写速度;
同理of=/dev/null不产生IO,可以用来测试纯读速度;
将当前目录下面的test拷贝到/var则同时测试了读写速度;
bs是每次读或写的大小,即一个块的大小,count是读写块的数量
oflag=dsync
参数说明
flag 相关参数
append 追加模式(仅对输出有意义;隐含了conv=notrunc)
direct 使用直接I/O 存取模式
directory 除非是目录,否则 directory 失败
dsync 使用同步I/O 存取模式
sync 与上者类似,但同时也对元数据生效
fullblock 为输入积累完整块(仅iflag)
nonblock 使用无阻塞I/O 存取模式
noatime 不更新存取时间
nocache Request to drop cache. See also oflag=sync
noctty 不根据文件指派控制终端
nofollow 不跟随链接文件
count_bytes treat 'count=N' as a byte count (iflag only)
skip_bytes treat 'skip=N' as a byte count (iflag only)
seek_bytes treat 'seek=N' as a byte count (oflag only)
dd其他功能介绍
dd if=/dev/hdx of=/dev/hdy
将本地的/dev/hdx整盘备份到/dev/hdy
dd if=/dev/hdx of=/path/to/image
将/dev/hdx全盘数据备份到指定路径的image文件
dd if=/dev/hdx | gzip >/path/to/image.gz
备份/dev/hdx全盘数据,并利用gzip工具进行压缩,保存到指定路径恢复:
dd if=/path/to/image of=/dev/hdx
将备份文件恢复到指定盘
gzip -dc /path/to/image.gz | dd of=/dev/hdx
将压缩的备份文件恢复到指定盘
dd if=/dev/hdx of=/path/to/image count=1 bs=512
备份磁盘开始的512Byte大小的MBR信息到指定文件恢复:
dd if=/path/to/image of=/dev/hdx
将备份的MBR信息写到磁盘开始部分
dd if=/dev/mem of=/root/mem.bin bs=1024
将内存里的数据拷贝到root目录下的mem.bin文件
dd if=/dev/cdrom of=/root/cd.iso
拷贝光盘数据到root文件夹下,并保存为cd.iso文件
!!!!慎用
dd if=/dev/urandom of=/dev/hda1
利用随机的数据填充硬盘,在某些必要的场合可以用来销毁数据。执行此操作以后,/dev/hda1将无法挂载,创建和拷贝操作无法执行。
From: http://blog.chinaunix.net/uid-11728685-id-5825650.html
建议使用fio进行相关IO测试
1. dd命令的IO模型单一,只能测试顺序IO,不能测试随机IO。
2. dd命令可设置的参数较少,并且测试结果不一定能反映出磁盘的真实性能。
3. dd命令的设计初衷就不是用例测试性能的,在dd的手册中可以看到。
4. 无法设置队列深度,因此不推荐用dd命令来测试最大读IOPS。
常用参数:
filename: 指定文件(设备)的名称,可以通过冒号分割同时指定多个文件,如filename=/dev/sda:/dev/sdb。这个测试时直接写裸设备,有可能写坏文件系统。
directory: 设置filename的路径前缀,在后面的基准测试中,采用这种方式来指定设备。
name: 指定job的名字,在命令行中表示新启动一个job。
direct: bool类型,如果设置成true (1),表示不使用系统的 io buffer。
thread 使用pthread_create创建线程,另一种是fork创建进程。进程的开销比线程要大,一般都采用thread测试
ioengine: I/O引擎,现在fio支持19种ioengine。默认值是sync同步阻塞I/O,libaio是Linux的native异步I/O。
iodepth: 如果ioengine采用异步方式,该参数表示一批提交保持的io单元数。该参数可参考文章“Fio压测工具和io队列深度理解和误区”。
rw: I/O模式,可选 randread,randwrite,randrw
bs: I/O block大小,默认是4k。
size: 指定job处理的文件的大小。
numjobs: 指定job的克隆数(线程)。
time_based: 如果在runtime指定的时间还没到时文件就被读写完成,将继续重复知道runtime时间结束。
runtime: 指定在多少秒后停止进程。如果未指定该参数,fio将执行至指定的文件读写完全完成。
group_reporting: 当同时指定了numjobs了时,输出结果按组显示。
Study:https://www.jianshu.com/p/23a956e09b1c
fio的样例
fio -name=8k -filename=/var/io.speedtest -runtime=30 -direct=1 -bs=8k -rw=randread -rwmixread=70 -ioengine=sync -size=4G -numjobs=50 -thread -group_reporting >randread8k_70.txt
# 参数解释
filename 文件位置以及名字,可以指定不同的分区进行验证
runtime 执行时间,避免测试过久,影响生产
direct=1 不使用缓存 直接走内存.
bs 指定块大小
rw 指定测试类型
rwmixread 混写读写中的读比率. 数据库一般读多写少
size指定文件大小, 避免过大.
numjobs 测试的线程数, 不建议超过CPU的核心数
-thread 不适用fork的方式进行创建, 提高测试速度
gourp_reporting 汇总测试结果.
番外: Raid的写惩罚
Raid级别 |
写惩罚 |
0 |
1 |
1 |
2 |
5 |
4 |
6 |
6 |
10 |
2 |
RAID-0:
直接的条带,数据每次写入对应物理磁盘上的一次写入
RAID-1和10:
RAID-1 和RAID-10的写惩罚很简单理解,因为数据的镜像存在的,所以一次写入会有两次。
RAID-5:
RAID-5由于要计算校验位的机制存在,
需要读数据、读校验位、写数据、写校验位四个步骤,所以RAID-5的写惩罚值是4。
RAID-6:RAID-6由于有两个校验位的存在,与RAID-5相比,
需要读取两次校验位和写入两次校验位,所以RAID-6的写惩罚值是6。