本标准规定了气象领域高性能计算机系统测试的要求、内容和方法，以及对测试结果的定性和定量评估方法。 本标准适用于在采购气象数值预报使用的高性能计算机过程中的测试与评估。

ICS07.060
中华人民共和国气象行业标准
QX/T148—2011
气象领域高性能计算机系统
测试与评估规范
Specification forhigh performance computer systemtest and evaluation in themeteorological field2011-12-21发布
2012-01-01实施
1范围
2术语和定义
测试规范
3.1测试要求
筛选参测应用模式
设定测试时效要求
整机测试
综合测试
测试方法
测试环境
运行方式
测试期限
测试内容
测试题
应用测试
功能测试
核心测试
3.3测试准备
程序及相关数据准备
介质准备
介质传递
3.4测试结果
准备电子形式输出结果
填写测试报告表
撰写分析报告书
测试说明书编写要求
总体测试说明书
分项测试说明书
说明书使用的语言
评估规范
定性评估
完成情况
测试环境真实性分析
测试方法准确性分析
测试结果正确性分析
问题清单
定量评估
QX/T148—2011
QX/T148—2011
配置分析
测量时间分析
加速比分析
管理软件效率分析
4.3测试评估报告书大纲·
定性评估
定量评估
总体评估
CMA短期气候预测HPCS性能测试说明附录A（资料性附录）
A.2说明文档与程序
说明性文档
A.3测试要求
测试的目的
测试总体要求
测试结果
电子形式输出结果
填写测试报告表
撰写分析报告书
测试题
联系方式
测试报告表
附录B（资料性附录）免费标准下载网bzxz
IFS模式测试说明
编译和运行步骤
数据文件说明
运行结果
测试内容和要求
附录C（资料性附录）
MM5V3模式测试说明
编译和运行步骤
数据文件说明
运行结果
测试内容和要求
附录D（资料性附录）定量评估图例D.1
加速比分析图例
管理软件效率分析图例
D.2.1断点/重起开销比率图
分时调度开销比率图
本标准按照GB/T1.1—2009给出的规则起草。本标准由全国气象基本信息标准化技术委员会（SAC/TC346）提出并归口。本标准起草单位：国家气象信息中心。本标准主要起草人：洪文董、曹燕、田浩。QX/T148—2011
1范围
气象领域高性能计算机系统测试与评估规范QX/T148—2011
本标准规定了气象领域高性能计算机系统测试的要求、内容和方法，以及对测试结果的定性和定量评估方法。
本标准适用于在采购气象数值预报使用的高性能计算机过程中的测试与评估。2术语和定义
下列术语和定义适用于本文件。2.1
高性能计算机系统highperformancecomputersystemHPCs由大量高性能计算节点、高速互联网络和大容量存储子系统构成的大规模并行计算机系统。2.2
峰值性能peakperformance
计算机系统的最高理论性能值。2.3
应用测试
applicationtest
使用用户实际应用程序对计算机系统进行测试。2.4
核心测试
kerneltest
从大型应用程序中抽出最耗资源或最具代表性的程序代码集，测试计算机系统的相关性能。2.5
un-optimized test
非优化测试
测试时不允许修改源代码，直接编译运行。2.6
优化测试optimizedtest
对源代码进行优化修改后的测试，且修改不能影响程序运行结果的正确性的测试。注：程序修改处要注明。
再现性测试repeatabletest
测试完成后，测试方保存每个测试程序的运行记录和结果。在安装现场，按照与原测试完全相同的测试方法、编译环境、运行环境和配置进行重新测试，获得与测试方相同的测试结果。1
QX/T148—2011
3测试规范
3.1测试要求
3.1.1筛选参测应用模式
从已有的业务或科研模式中筛选出可提供参与测试的模式。提供测试的模式或程序应是在一个以上平台上稳定运行过的版本。
3.1.2设定测试时效要求
根据业务或科研模式的运行时效要求来设定模式测试的运行时间要求，也可用缩短运行时间的要求来测更大规模的系统。
3.1.3整机测试
使用一套具有完整硬件配置、完整软件配置，且配置已全部安装的目标机为测试平台。一套单机柜组成的系统其节点间的互联网络、套多机柜组成的系统其机柜间的互联网络均应得到测试。宜有一个并行应用程序能够测试到整机的全部计算单元和内部互联网络，3.1.4综合测试
运用应用测试、功能测试和核心测试等方法，对计算机系统的计算性能、内存性能、内部互联网络性能、I/O性能和软件功能进行全面测试。3.1.5测试方法
以应用测试为主、核心测试为辅。各项测试分为非优化测试和优化测试，由厂家自测试。再现性测试在系统安装验收时进行，由采购方测试，3.1.6测试环境
所有测试应在满足计算机性能与规模等要求的环境下运行，测试节点的计算单元应满配置，内存容量可按需配置。应是UNIX或LINUX环境和64位精度及其以上的计算机系统。3.1.7运行方式
所有测试相关的脚本应以批作业的方式运行。3.1.8测试期限
根据题目的大小、数量确定测试期限测试期限以日历日按天计算，含节假日。发放测试代码（发放日）和提交测试结果（提交日）当日不计人测试期。境外测试按收到测试代码邮戳为发放日、寄出结果邮截为提交日。应遵守按发放日按时领取测试代码和在提交日之前提交结果，逾期为无效测试。3.2测试内容
3.2.1测试题
一道测试题(Test)可以对应一个应用程序的测试或对某个核心程序的测试，也可以对应多个应用2
QX/T148—2011
程序的组合测试或多个核心程序的组合测试。测试题以Testl，Test2，Test3等顺序编号。测试题分为必测（MUST-DO）和选测（OPTIONAL）两个类别，每道测试题应为必测或选测类别之一。其中必测项应包括主要业务模式。3.2.2应用测试
系统配置测试
在规定时间内运行完给定程序所需的CPU资源、内存资源等最小配置。可设为必测项或选测项。测试题设计参见附录A的Testl和Test3、Test5、Test6。3.2.2.2可扩展性测试
测试计算机系统的加速比和效率。此测试为必测项。宜选择扩展性好的成熟模式为测试题。节点（或CPU核）数系列值的选取可根据目标系统的规模调整，至少应选取8个阶梯直至目标系统的节点数或大于目标系统的节点数。测试题设计参见附录A的Test6。3.2.2.3
性能测试
性能测试为必测项，包含两个单项：单CPU的应用性能测试；
单节点的应用性能测试。
宜选择含较多串行处理（如前处理）的模式为测试项。测试题设计参见附录A的Test8、Test9和Test2。3.2.3功能测试
功能测试至少包含两个必测项：断点/重起Checkpoint/Restart测试；分时调度测试。
测试题设计参见附录A的Test7和Test4。3.2.4核心测试
采用国际上公认的、较多采用的核心程序或经改写的程序段。核心测试包含两个测试，高性能计算机基本性能PMaC_HPC_Benchmarks测试，此测试为选测项，可以从以下网址获得：(http：//www.sdsc.edu/PMaC)；内存带宽流STREAM测试，此测试为必测项，可以从以下网址获得：测试题设计参见附录A的Test12和Test13。3测试准备
3.3.1程序及相关数据准备
包括以下四项工作内容：
测试程序及相关数据准备应在UNIX或LINUX环境下进行，生成的目录结构以测试程序名a）
开始，下级目录为源程序、数据。3
QX/T148—2011
示例1：
MM5程序的目录结构：
MM5/src/
MM5/data/
b）在存放测试程序的主目录下用tar命令打包、压缩，一个程序（及数据）生成单个文件，并以该程序名命名。
示例2：
MM5程序的单文件命名：
MM5.tar.gz或MM5.tar.Z。
c）如生成一个文件太大，可以几个子目录生成一个文件，则一个程序（及数据）生成多个文件。示例3：
MM5程序的多文件命名：
MM5-1.tar.Z,MM5-2.tar.Z。
压缩的单文件经解压、tar开后能还原成上列的目录层次结构。压缩的多文件经解压、tar开后d)
同样也能还原成上列的目录层次结构。3.3.2
介质准备
包括以下三个步骤：
a）介质选择
存储介质宜选不会被更改且轻便易传递的光盘。根据存储容量可用CD或DVD。存储介质也可选用轻便型的U盘或大容量的移动硬盘。数据刻录
把在UNIX或LINUX环境下准备的程序和数据传到WindoWs环境下刻写。存储介质制作之后应进行可用性读出检查。
c）贴标签
存储介质制作完成后，应统一对每件介质编号、贴标签。标志样例包括下面4行：光盘编号，单位名称缩写名一一Disk1（1/4）模式名称：IFS.tar.Z：全球中期数值预报谱模式（并行版）；发行日期：xxxx年xx月xx日；
一制作人签名：真实姓名。
U盘或移动硬盘均为可改写介质，制作完成后应加密封标志。3.3.3介质传递
宜当面直接签字领取，也可快递。光盘应注重包装保护。移动硬盘不宜用邮寄。介质应备双套。3.4测试结果
3.4.1准备电子形式输出结果
包括以下三个步骤：
a）筛选输出结果
包括以下内容：
实际作业运行时所使用输入数据文件，源程序和编译后对应的目标程序；优化时修改过的最终版本的源文件，不应包括优化过程中的中间文件；4
QX/T148—2011
一一应对作业主要部分（如编译、程序载人和执行）的开始和结束打上墙钟时间标志；一运行过程中的标准输出stdout、标准错误输出stderr和日志logs保存下来的文件；测试的结果。
b）存放路径与打包
在程序测试运行和优化测试的过程中所使用的模式目录层次不变，为区分不同公司各测试题非优化和优化结果，应在原模式目录层次之前增加若干父目录。按示例的目录结构存放，打包返回结果。
示例：
ABC公司的目录结构：
ABC/IFS/Testl/un-optimized/...ABC/IFS/Testl/optimized/...
上述路径表明是ABC公司测试的、基于集成预报系统IFS进行Test1测试，并分成优化和非优化两种。优化后的源程序也要包含其中。
打包成ABC-IFS.tar.Z返回结果。这表明是ABC做的IFS测试结果、用tar命令并压缩后的包。如果包太大，可分成儿个包，如ABC-IFSTestl.tar，Z，ABC-IFSTest2.tar.Z等。c）存放介质
存放介质宜选光盘或U盘或大容量移动硬盘；贴标签，标注公司和列出文件，直接送达或快递。参见3.3.2和3.3.3。
3.4.2填写测试报告表
模式的测试题对应一个测试报告表（参见A.7），包含测试结果和相应的测试环境。由测试人用中文或英文填写并签字，用书面形式提交。3.4.3撰写分析报告书
内容包括对本测试的总体描述，测试结果的存放路径，运行环境和关键系统参数调整对性能的影响，优化过程中主要修改部分，结果的性能曲线的表述与分析，正确性分析、结果分析等。结果分析中对基于部分测试进行推算的测试题，应给出推算理由和计算公式。分析报告书中应保证结果的真实性和测试的可再现性，推算结果视同承诺的文字。分析报告书使用中文或英文，用书面形式和电子文档（PDF或WORD格式）提交，书面形式文档应有撰写人签字。
3.5测试说明书编写要求
3.5.1总体测试说明书
每个采购或招标项目对应的测试应准备一份项目测试总说明书。说明书的书写应清楚、严谨。说明书的标题命名规则：XXX单位XXX项目HPCS性能测试说明书。说明书的内容应包括3.2至3.4。说明书的大纲宜包括：概述、说明文档与程序、测试要求、测试结果、测试题（测试报告表格）和联系方式。总体说明书的样式参见附录A。
3.5.2分项测试说明书
分项测试说明书按下列大纲顺序及内容书写：a）概述
对程序的总体介绍。打包的程序名；编程方式（是串行还是并行）；模式类别（是数值天气预报模式还是气候模式，是全球模式还是区域模式，是谱模式还是格点模式）；格点规模（波数、格点5
QX/T148-2011
数组成、层数）；源程序的语言版本；编程模式（是MPI还是OpcnMP或混合模式）；程序包展开的子目录结构。
编译和运行步骤
介绍程序子目录下的说明文件README，帮助文件HELP；哪些文件能帮助了解整个模式，指导如何去编译，连接源程序、修改程序接口、运行数据；应修改哪个文件的参数，如何运行程序。
数据文件说明
说明模式输人数据存放目录及其文件集，是实际气象数据还是人工数据，以及如何使用这些数据。
d）运行结果
规定需要创建、存放所有修改过或优化过的子程序的子目录，运行时创建的人工数据、使用的真实数据、测试结果存放的子目录。测试内容和要求
规定如何使用初始场数据和修改作业卡运行程序，根据测试题要求，在规定时间内或指定系统规模下进行测试，应获得什么测试结果。分项测试说明书的样式参见附录B、附录C。3.5.3说明书使用的语言
总体和分项测试说明书可使用中文或英文，用书面形式和电子文档（PDF或WORD格式）提供。总体和分项测试说明书的电子文档可与测试代码同时刻录光盘。4评估规范
4.1定性评估
4.1.1完成情况
应对所有厂家所完成的测试及结果提交情况进行统计，填写测试完成情况定性评估表，见表1。对按时完成的项目打“”，其他图例见表注。该表应涵盖所有参与测试的厂家和所有测试程序，表项可按实际测试题和厂家数增减。
测试完成情况定性评估表
厂家A
测试完成
非优化
非优化
测试方法正确性
结果正确性
优化程#
测试完成
厂家B
试方法正确
结果正
优化程
测试完4
厂家C
测试方
法正确性
结果正碗
优化程
厂家D
试方游
法正确性
结果正确性
优化程电
测试完成
厂家E
测试方法正确性
结果正确性
优化程度
非优化
非优化
非优化
非优化
非优化
非优化
试完成
厂家A
测试方法正确性
结果正确性
优化程度
测试完成情况定性评估表(续）
厂家B
测试完成
测试方法正确性
结果正确碗性
优化程
测试完成
厂家C
测试方法
正确性
果正确
优化程
测试完成
注1：完成情况：√测了，一未测；正确性：/正确，×错误；？部分对，一未测；注2：优化程度：一无优化，☆一般优化，★很好优化；涂底纹：为重测后的数据。厂家D
测试方法正确性
结果正确性
对于表中的表项不能仅靠打“/”来表达的测试题，可对该项测试进行文字说明QX/T148—2011
厂家E
优化程度
测试完成
测试方法正确性
结果正确性
优化程度
注：某项目测试的结果提交不完整，经提醒后补齐；或某项目测试的不断优化，测试提交日后继续提供更新结果等加以说明。
4.1.2测试环境真实性分析
对测试相关环境进行验证，至少应验证的项目如下：a)
测试的环境是否是UNIX或LINUX；测试的精度是否是64位或64位以上系统；测试的CPU是否与目标机配置有差异测试的节点配置是否与目标机有差异；测试的系统配置包括内部网络互联、存储系统是否与目标机有差异。测试方法准确性分析
验证是否按总体说明书和分项说明书的规定方法进行测试。至少应验证的项目如下：测试的源代码是否用采购方提供（或规定版本或指定来源）的源代码；a
小提示：此标准内容仅展示完整标准里的部分截取内容，若需要完整标准请到上方自行免费下载完整标准文档。