https://blog.csdn.net/qq_36287943/article/details/103601539

官网:https://spec.org/

1、SpecCPU2017是一套CPU子系统测试工具,包括4大种类套件共43个基准测试。4大种类套件如下:

整数型:SPECrate 2017 Integer,对应用例编号为5xx

SPECspeed 2017 Integer,对应用例编号为6xx

浮点型:SPECrate 2017 Floating Point,对应用例编号为5xx

SPECspeed 2017 Floating Point,对应用例编号为6XX

SPEC基准广泛用于评估计算机系统的性能。SPEC CPU套件通过测量几个程序(例如编译器GCC,化学程序游戏和天气程序WRF等)的运行时间来测试CPU性能。

benchmark 基准如下:(安装目录内)

43个benchmark的使用场景如下表所示:(官网)

2、Spec2017测试有两种评估方式,分为speed和rate。speed是测试完成一项任务需要的时间,即速度测试;rate是测试单位时间内可以完成多少任务,即throughput(吞吐量测试)。speed和rate测试又有整数(Integer)和浮点(Floating Point)测试之分、base(基准测试)和peak(峰值测试)之分,如果是要生成报告的测试,要么是使用base,要么是base和peak一起用。可通过设置测试模式来实现:

--tune base 或者 --tune all 默认是base 可以选择base, peak, or all ,Report 首先是base,其次是peak.

speed与rate说明 (速度与吞吐量)

speed:包含10个整形测试和10个浮点测试。speed测试只运行一次测试题,测试分数高,说明单次运行时间短。

rate:包含10个整形测试和13个浮点测试,rate测试是运行多个相同的测试题,运行数量由测试者指定,分数高,代表更大的通量(固定时间处理问题的数量)

base与peak说明 (基准与峰值)

base:base是简单的标准的配置

peak:peak是可以提供更多个性化的配置编译选项

 

Spec2017 计算rate分值的公式:ratio=copies*(reference_time/test_time)

copies:指定相同问题的数量

reference_time:SPEC给出的参考时间

test_time:测试得出的时间

说明:公式含义为,参考时间与单份测试所用时间的比值。ratio越高表示相同时间可以处理更多的问题,即机器的通量高。本测试过程中设置copies,分别为对应cpu的核数。

 

Spec2017 计算speed分值算法公式:ratio=reference_time/test_time

reference_time:SPEC给出的参考时间

test_time:测试得出的时间

ratio越高表示完成同样的问题用时更少。

3、整数和浮点

cpu整数能力 (执行加法,减法,乘法)

cpu浮点能力(执行除法,也就是小数点的位移)

SpecCPU2017 工具安装步骤

1、下载软件(推荐使用1.0.5或更高版本的SPEC CPU 2017。本例中使用的版本为1.0.5)

a.SPEC官网下载SPEC CPU2017测试工具。

https://www.spec.org/cpu2017/? ####官网收费下载

 

b.百度网盘下载cpu2017-1.05.iso

链接:https://pan.baidu.com/share/init?surl=kMoMJ5Ufg5oZql4HjyacAg

提取码:5thr

2、安装测试工具

安装步骤参考文章:

https://support.huaweicloud.com/instance-evaluation-ecsie/ecsie_ipeg_0001.html

其中

a.在编译源码升级gcc时候mpc的包有点问题,需要重新官网下载源码包

https://mirrors.sjtug.sjtu.edu.cn/gnu/mpc/mpc-1.0.3.tar.gz

b.编译gcc时有个报错需要用到gcc-c++ ,故需要安装gcc-c++

3、测试步骤

a.Speccpu2017 安装完成需执行命令

source shrc

runcpu --config=spec17-opti-gcc7.3.cfg all --tune=all –reportable

runcpu --config=spec17-opti-gcc7.3.cfg all --threads 98 --copies=98 --tune=all –reportable

--threads 线程数(貌似指定后未生效仍是1)

-- copies参数的取值必须等于当前CPU核数

部分参数说明

runspec -config=xxx.cfg -size=ref -r 4 -tune=base -noreportable -o txt,screen,pdf -I -iterations=3 all

 

a)配置文件:--config spec17-opti-gcc7.3.cfg,配置文件中可以包含上述命令的所有信息,但是runspec命令的优先级高。此文件在spec的解压目录下,由上述文章中已有可直接使用。

b)测试规模: --size ref(测试规模有test,ref,train其中test最小跑的时间最短,如果测试编译器正确性的时候可以用test规模,但是想测试性能时候用ref)

c)测试次数:iterations=3次(编译器性能稳定时候测一次就行),也可以写成n 3;

tips:如果想得到加权统计的结果,也就是常说的cpu的spec分数,需要设置iterations大于等于3。

d)测试范围: all 表示进行fp和int测试(将all替换成intrate 或 fprate 进行定点和浮点的测试;将all替换成456/444等文件编号,表示对某一测试项进行单独测试)可选 'fprate', 'fpspeed', 'intrate', 'intspeed' or 'all'.

对于CPU的SPEC测试,默认这一项是all,但是对于其中的某一项测试分数不满意,可通过指定此测试项的编号,进行单独测试。测试也会得到一个分数,做单项的性能调优时候,可以用得到。

e)输出格式:-o text,screen,pdf 表示测试完成,生成报告的格式,依次分别是txt,屏幕显示和pdf格式,保存目录在spec解压目录result中。

f)noreportable && reportable : 表示检测/不检测生成的二进制文件是否修改过。

--reportable 如果原来生成的二进制文件被修改了,则运行时会自动重新编译生成二进制文件,确保运行的程序是原始的程序。

g)测试核数:-r 设置测试的CPU核心数目;

h)测试模式:-tune = base 基准测试;-tune = peak 峰值测试;-tune默认是base 可以选择base, peak, or all ,Report 首先是base,其次是peak.

i)-I : 表示测试中,如遇报错,略过错误继续测试;

正确运行结果如下:

运行过程

Runcpu 运行时间会很长,大概3天以上

运行结果汇总在安装目录下的result目录下

在运行过程中,需要查看执行完哪些用例可以查看

cat cat CPU2017.001.log.debug | grep -i success

参考资料

[1] https://blog.csdn.net/qq_36287943/article/details/103601539

[2]https://support.huaweicloud.com/instance-evaluation-ecsie/ecsie_ipeg_0001.html

[3]https://www.spec.org/cpu2017/Docs/quick-start.html

[4]https://www.spec.org/cpu2017/Docs/runcpu.html

[5]https://www.spec.org/cpu2017/Docs/overview.html

 

问题1:

测试Intel(Intel(R) Xeon(R) Gold 5220 CPU @ 2.20GHz 共72C) cpu时候执行命令报错

runcpu --config=spec17-opti-gcc7.3.cfg fprate –threads 72 --tune=all –reportable

查看top 服务器的负载到80%+,查看执行过程中发现

未能发现有用信息,结合服务器cpu负载为80%+,cpu使用率搭99%,判断可能是cpu超负载运行,从而把程序kill 掉,继续查看执行的步骤发现 copies 指定为 96(配置文件内被写死了) 而服务器为72核

修改执行命令加上参数

runcpu --config=spec17-opti-gcc7.3.cfg fprate –threads 72 —copies=72 --tune=all –reportable

之后 copies 显示为72,用例可以继续执行下去

问题2:执行命令指定的线程数未生效,暂未找到原因

其他参数见:

https://www.spec.org/cpu2017/Docs/runcpu.html