ICS07.060
iiikAa~cJouakAa
中华人民共和国气象行业标准
QX/T148—2020
代替QX/T148—2011
气象领域高性能计算机系统
测试与评估规范
Specification for high performance computer systemtest and evaluation in the meteorological field行业标准信息服务平台
2020-07-31发布
中国气象局
2020-12-01实施
iiiKAa~cJouakAa
行业标准信息服务平台
术语和定义
测试规范
测试要求
测试内容
测试准备
测试结果
测试说明
评估规范
定性评估
定量评估
4.3测试评估报告
附录A（资料性附录）
附录B(资料性附录）
附录C资料性附录）
附录D（资料性附录）
高性能计算机系统总体测试说明高性能计算机系统分项测试说明高性能计算机系统测试评分示例高性能计算机系统测试评估报告大纲iiiKAa~cJouiaKAa
QX/T148—2020
行业标准信息服务平台
iiiKAa~cJouakAa
行业标准信息服务平台
本标准按照GB/T1.1—2009给出的规则起草。iiiKAacJouaKAa
QX/T148—2020
本标准代替QX/T148—2011《气象领域高性能计算机系统测试与评估规范》。与QX/T148-2011相比，除编辑性修改外，主要技术变化如下：修改了标准适用范围，由“采购”扩展为“采购或租用”（见第1章，2011年版的第1章）；修改了高性能计算机系统术语定义（见2.1.2011年版的2.1)；增加了加速比术语和定义（见2.3）：将核心测试术语改为基准测试术语（见2.5，2011年版的2.4）；删除了再现性测试术语和定义（见2011年版的2.7）；增加了输人输出（I/O)及消息传递接口（MPI)通信性能测试（见3.2.3）：删除了断点/重起和分时调度功能测试（见2011年版的3.2.3）；增加了作业管理调度等功能测试（见3.2.4)；增加了合理性评估指标（见4.1.4)；删除了管理软件效率分析（见2011年版的4.2.5）；增加了定量评估方法（见4.2.5）；修改了《高性能计算机系统总体测试说明》参见附录A，2011年版的附录A）、《高性能计算机系统分项测试说明》（参见附录B，2011年版的附录B、C），增加了《高性能计算机系统测试评分示例》（参见附录C）、《高性能计算机系统测试评估报告大纲》（参见附录D）。本标准由全国气象基本信息标准化技术委员会（SAC/TC346)提出并归口。本标准起草单位：国家气象信息中心。本标准主要起草人：魏敏、孙婧、沈瑜、李娟、肖华东、王彬、洪文董、曹燕、田浩本标准所代替标准的历次版本发布情况为：行业标准信息服务平台
QX/T148-201
QX/T148—2020
iiKAa~cJouaKAa
QX/T148一2011《气象领域高性能计算机系统测试与评估规范》规定了气象领域高性能计算机在采购过程中的测试要求、内容和方法，以及对测试结果的评估方法。随着气象数值模式及高性能计算技术的发展，气象数值模式对高性能计算机系统的需求不断变化，高性能计算机系统的规模不断扩展，系统复杂性不断增加，高性能计算机系统测试结果评估需求进一步精细化。为更全面、规范地对高性能计算机系统进行测试与评估，特对QX/T148一2011《气象领域高性能计算机系统测试与评估规范》进行修订。行业标准信息服务平台
1范围
iiiKAa~cJouaKA
QX/T148—2020
气象领域高性能计算机系统测试与评估规范本标准规定了气象行业运行气象数值模式的高性能计算机系统的测试与评估规范本标准适用于气象行业采购或租用运行气象数值模式的高性能计算机系统的测试与评估。2术语和定义
下列术语和定义适用于本文件。2.1
高性能计算机系统highperformancecomputersystem；HPCS由一定数量高性能计算节点、高速低延迟互联网络和大容量存储子系统及配套软件构成的，以科学与工程计算为主要应用目标的大规模并行计算机系统，2.2
peakperformance
峰值性能
高性能计算机系统的最高理论性能值。2.3
加速比speedupratio
给定气象数值模式程序在高性能计算机系统单节点或处理器核（CPU核）上的运行时间与在多个这种节点或处理器核（CPU核）上的运行时间之比。2.4
application test
应用测试
使用实际业务或利开气象数值模式程序对高性能计算机系统进行的测试。2.5
基准测试
benchmarktest
选择国际上通用、公开的基准测试程疗序，测试高性能计算机系统的相关性能。2.6
un-optimized test
非优化测试
慧服务平台
不对程序源代码进行运算性能优化型修改，并可得到会结果的测试optimizedtest
优化测试
对程序源代码进行运算性能优化型修改，并可得到合理结果的测试3测试规范
3.1测试要求
3.1.1筛选气象数值模式
应从已有的业务或科研气象数值模式中筛选出稳定运行的具有计算、访存、通信及1/O等特点的1
QX/T148—2020
模式。
3.1.2设定测试时效要求
iiiKAacJouaKAa
根据业务或科研气象数值模式的运行时效要求来设定模式测试的运行时间要求，也可用缩短运行时间的要求来测更大规模的系统。3.1.3测试用例
应对选定的气象数值模式程序设置约束条件，确定测试数据及计算规模，形成测试用例3.1.4测试用机
应使用一套具有完整硬件配置、完整软件配置，且配置已全部安装的独立的高性能计算机为测试用机。测试用机应是UNIX或LINUX环境和64位精度及以上的高性能计算机系统，测试节点的计算单元应满配置，内存容量可按需配置。3.1.5综合测试
应采用应用测试、基准测试和功能测试等方法，对高性能计算机系统的计算性能、内存性能、内部互联网络性能、I/O性能、可靠性及软件功能等进行全面测试。对于租用的远程访问的高性能计算机系统应对访问带宽和访问性能等进行测试。3.1.6测试方法
应以应用测试为主、基准测试为辅。应用测试可分非优化和优化两种方式。各项测试均应由厂商或服务商自测试。
3.1.7运行方式
所有测试相关的脚本应以批作业的方式运行。3.2测试内容
3.2.1测试题目
一道测试题目（Test)可对应一气象数值模式程序的测试或对应某个基准程序的测试，也可对应维信息服务
多个气象数值模式程序的组合测试或多个基序的组合测试。测试题目以Test1.Test2，Test3等顺序编号。
3.2.2应用测试
系统配置测试
在规定时间内运行完给定气象数值模式程序所需的CPU核资源、内存资源等最小配置3.2.2.2加速比测试
加速比测试中节点数或CPU核数系列值的选取可根据采购或租用系统的规模调整，宜至少选取8个阶梯，尽量接近或大于等于采购或租用系统的节点数或CPU核数。3.2.2.3性能测试
性能测试应包含：
单CPU核应用性能测试；
单节点应用性能测试；
多节点应用性能测试。
3.2.3基准测试
基准测试应包含：
1/O性能测试；
MPI通信性能测试；
一内存带宽测试。
3.2.4功能测试
功能测试可包含：
作业管理调度测试；
软件开发工具测试；
科学计算库测试。
3.3测试准备
程序、数据及相关文档准备
包括以下内容：
iiKAa~cJouakAa
QX/T148—2020
a）气象数值模式程序及相关数据准备应在UNIX或LINUX操作系统环境下进行，生成的目录结构应以测试程序名开始，下级目录为源程序、数据；示例：
全球与区域同化预报系统（GRAPES)程序目录结构：GRAPES/src/
GRAPES/data/
可在存放气免教值模式程序及相关数据主目录下用tar命令打包、压缩，并以该程序名命名；b)
示例：
GRAPES程序文件名：
GRAPES. tar.gz 或 GRAPES.AWww.bzxZ.net
应准备《高性能计算机系统总体测试明》《高性能计算机系统分项测试说明》等文档；基准测试程序、相关数据与文档可由厂商或服务商自行获取。“息服务
介质准备
包括以下步骤：
a）介质选择：存储介质宜选轻便易传递的移动硬盘或光盘。数据记录：把在UNIX或LINUX环境下准备的气象数值模式程序、数活及文档传输到移动存b）
储介质。存储介质制作之后应进行可用性读出检查贴标签：存储介质制作完成后，应统一对每件介质编号、贴标签。标志样例可包括以下3行：·编号：单位名称缩写名-1（1/4）；·模式名称：GRAPES.tar.Z；
·制作日期：X×XX年X×月X×日。制作完成后应加密封标志，加盖公章。3
QX/T148—2020
3.4测试结果
3.4.1输出结果
包括以下步骤：
a）筛选输出结果。应包括以下内容：iiiKAacJouaKAa
·测试过程所使用的所有源程序、头文件、库文件、目标文件、可执行文件、输人输出数据、配置脚本、作业提交脚本、标准输出、标准错误输出及日志文件等：·优化时修改过的最终版本的源文件，不应包括优化过程中的中间文件；·应对作业主要部分的开始和结束打上墙钟时间标志；·测试的结果文件。
存放路径与打包：在程序测试运行过程中所使用的气象数值模式目录层次不变，为区分不同厂商或服务商各测试题目非优化和优化结果，应在原模式自录层次增加若干自录。可按示例的目录结构存放，打包返回结果。示例：
厂商或服务商A的目录结构
A/Testl/GRAPES/un-optimized/A/Testl/GRAPES/optimized/
上述路径表明是厂商或服务商A基于GRAPES进行的Test测试结果，分为优化和非优化两种。可打包成A-Test1-GRAPES.tar.gz文件，表明是厂商或服务商A完成的Test1测试结果，采用tar命令打包并压缩后的文件。
3.4.2填写测试报告表
各测试题目应分别对应一份测试报告表，内容包含测试结果和相应的测试环境。由采购或租用单位提供，由测试人填写并签字，标明日期，厂商或服务商盖章，用纸质形式和电子文档（PDF或WORD格式)提交。
3.4.3撰写分析报告
应包括对测试的总本描述删试环境和关键系统参数调整对性能的影响，测试题目自身存在的问题，优化过程中主要修改部分，测试结果分析等。基于部分实测结果进行推算的测试题目，其结果分析中应给出推算理由、推算方法、公式和兑明。应包含保证结果的真实性和测试的可再现性，推算结果视同承诺的文字。慧服务平
应使用中文，用纸质形式和电子文档（PDF或WRD格式）提交，纸质形式文档应有撰写人签字，并标明日期，厂商或服务商盖章。3.5测试说明
3.5.1总体测试说明
应准备一份总体测试说明，说明的书写应清楚、严谨。说明的大纲宜包含：概述、光听文档与程序、测试要求、测试结果、测试题目和联系方式等。总体测试说明参见附录A。3.5.2分项测试说明
分项测试说明可包括但不限于以下内容：a）气象数值模式名称，主要参数，程序目录结构等；4
b）编译、链接源程序，修改文件参数，运行程序的方法等；）模式输人、输出数据存放目录及其文件集，数据格式等：d）模式运行结果，结果合理性检查方法等。分项测试说明参见附录B。
4评估规范
4.1定性评估
4.1.1完成情况
iKAa~cJouaKAa
QX/T148—2020
应对所有厂商或服务商完成的测试及结果提交情况进行统计，填写测试完成情况定性评估表，见表1。该表应涵盖所有参测厂商或服务商和所有测试题目，表项可按实际情况增减表1测试完成情况定性评估表
厂商或服务商
测试题目
非优化
测试完成情况
测试完成情况：V完成测试，O未完成测试：测试方法正确性
测试方法正确性：V正确，×错误，？部分正确，未完成测试：测试结果合理性：V合理，×不合理，？部分合理，未完成测试优化百分比：优化后相对优化前计算性能提升百分比，未完成测试，4.1.2测试环境分析
对测试环境进行分析，至少应包括以下内容：a）测试系统是UNIX或LINUT：
测试系统精度是64位或6！以上；测试结果合理性
优化百分比
测试系统CPU、节点、内部网络互联存储系统等硬件配置与采购或租用系统差异；息服务平台
测试系统操作系统、编译器、作业管理调度等软件配置与采购或租用系统差异。d)
测试方法正确性分析
对测试方法进行分析，至少应包括以下内容：测试使用采购或租用方提供（或指定来源）的源代码；a)
测试使用采购或租用方提供（或指定来源）的数据非优化测试没有对程序源代码进行运算性能优化型修改：c)
优化测试真正做过源代码优化，使用的预编译器、编译选项及链接库；e)
没有通过减少输出数据而减少墙钟时间等；功能测试按规定的方法测试；
测试的真伪性，检查批作业运行的标准输出、运行结果等：测试的完成程度，测试结果是全部实测、全部推算或部分实测部分推算。5
QX/T148—2020
4.1.4、测试结果合理性分析
4.1.4.1模式运行结果的合理性
iiikAa~cJouakAa
测试过程中.因修改了部分程序代码（例如在优化方式测试时）或调整了气象数值模式的参数：可能造成模式运行结果的差异或预报预测的错误。可通过运算结果与标准结果的典型气象要素场分布形势和相关系数等模式模拟结果合理性指标来检验。4.1.4.2输出结果被人为修改的检验气象数值模式运行过程中，标准输出、标准错误输出等文件输出时具有关联的时间标志序列。当输出结果（如敏感的运行时间等）被人为修改：其文件的时间属性会发生变化。可通过对模式运行输出的系列文件的创建、修改等时间关联性来检查。4.1.5问题清单
应在问题清单上列出妨碍定量评估的问题，以测试题目为单位.逐个厂商或服务商分析登记，见表2。该表应涵盖所有参测厂商或服务商和所有测试题目，表项可按实际情况增减表2测试结果问题清单
测试题目
4.2定量评估
4.2.1总则
表3至表5中各表项可按实际情况增减。4.2.2配置分析
厂商或服务商
对涉及测量最小配置规模的测试题目，宜统计分析CPU核数（或CPU数、或节点数）、单CPU核峰值性能及内存配置和总功耗等内容，算得到峰值性能，内存容量和每瓦峰值性能，见表3。表3小系统配置统计表
广商或成务商
测试题目
非优化
运行时间
CPU核数
单CPU核
峰值性能
GFLOPS
峰值性能=单CPU核峰值性能XCPU核数；内存容量=单CPU核内存配置XCPU核数；性能功耗比一峰值性能/总功耗。6
峰值性能
GFLOPS
单CPU
内存容量
总功耗
性能功耗比
GFLOPS/W
小提示：此标准内容仅展示完整标准里的部分截取内容，若需要完整标准请到上方自行免费下载完整标准文档。