DL/T 2031-2019
标准分类号
关联标准
出版信息
相关单位信息
标准简介
DL/T 2031-2019.Test specification for power mobile application software.
1范围
DL/T 2031规定了电力移动应用软件在系统测试阶段的测试环境、测试方法和测试过程。
DL/T 2031适用于电力行业移动应用软件的系统测试环节，其他软件系统可参照执行。
2规范性引用文件
下列文件对于本文件的应用是必不可少的。凡是注8期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。
GB/T 15532计算机软件测试规范
GB 17859计算机信息系统安 全保护等级划分准则
GB/T 18336信息技术安全技术 信息技术安 全评估准则
GB/T 22239信息安全技术 信息系统安 全等级保护基本要求
GB/T 25069- -2010 信息安全技术术语
GB/T 34975信息安全技术 移动智能终 端应用软件安全技术和测试评价方法
YD/T 2558基于祖冲之算法的 LTE终端和网络设备安全技术要求
3术语和定义
GB/T 15532、GB/T 18336、GB/T 25069- 2010 界定的以及下列术语和定义适用于本文件。
3.1移动应用软件mobile application
可独立运行在移动终端系统上的应用，拥有系统本身独立的应用服务器、数据库服务器，不借用其他软件或平台作为入口，可独立发布、安装、运行、卸载等。
3.2黑盒测试black box testing
在完全不考虑程序内部结构和内部特性的情况下，检查程序功能是否按照需求规格说明书的规定正常使用，程序是否能适当地接收输入数据而产生正确的输出信息。
3.3交叉事件测试cross event test
一个功能正在执行过程中，同时另外-一个事件或操作对该过程进行干扰的测试。
1范围
DL/T 2031规定了电力移动应用软件在系统测试阶段的测试环境、测试方法和测试过程。
DL/T 2031适用于电力行业移动应用软件的系统测试环节，其他软件系统可参照执行。
2规范性引用文件
下列文件对于本文件的应用是必不可少的。凡是注8期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。
GB/T 15532计算机软件测试规范
GB 17859计算机信息系统安 全保护等级划分准则
GB/T 18336信息技术安全技术 信息技术安 全评估准则
GB/T 22239信息安全技术 信息系统安 全等级保护基本要求
GB/T 25069- -2010 信息安全技术术语
GB/T 34975信息安全技术 移动智能终 端应用软件安全技术和测试评价方法
YD/T 2558基于祖冲之算法的 LTE终端和网络设备安全技术要求
3术语和定义
GB/T 15532、GB/T 18336、GB/T 25069- 2010 界定的以及下列术语和定义适用于本文件。
3.1移动应用软件mobile application
可独立运行在移动终端系统上的应用，拥有系统本身独立的应用服务器、数据库服务器，不借用其他软件或平台作为入口，可独立发布、安装、运行、卸载等。
3.2黑盒测试black box testing
在完全不考虑程序内部结构和内部特性的情况下，检查程序功能是否按照需求规格说明书的规定正常使用，程序是否能适当地接收输入数据而产生正确的输出信息。
3.3交叉事件测试cross event test
一个功能正在执行过程中，同时另外-一个事件或操作对该过程进行干扰的测试。
标准图片预览
标准内容
ICS35.080
中华人民共和国电力行业标准
DL/T2031—2019
电力移动应用软件测试规范
Test specification forpowermobileapplication software2019-06-04发布
国家能源局
2019-10-01实施
1范围
2规范性引用文件
3术语和定义
4缩略语
5测试环境·
6测试方法
7功能测试
7.1功能性测试
7.2交叉事件测试
8非功能测试
8.1性能（效率）测试
8.2兼容性测试
8.3易用性测试
8.4可靠性测试
8.5可维护性测试
8.6可移植性测试
8.7用户文档集检查
9安全测试
9.1移动应用服务端
9.2移动应用客户端
附录A（资料性附录）
附录B（资料性附录）
附录C（资料性附录）
附录D（资料性附录）
黑盒测试方法
渗透测试方法示例·
综合评价方法
测试工具
DL/T2031—2019
DL/T2031—2019
本标准按照GB/T1.1一2009《标准化工作导则第1部分：标准的结构和编写》给出的规则起草。本标准由中国电力企业联合会提出。本标准由电力行业信息标准化技术委员会（DL/TC27）归口。本标准起草单位：中国电力科学研究院有限公司、国家电网有限公司、中国南方电网有限责任公司、南瑞集团有限公司、国网山东省电力有限公司。本标准主要起草人：汪洋、王志英、丁慧霞、汤国龙、程磊、赵莹、颜月平、方帅、王智慧、张庚、滕玲、李哲、陈相舟、董慧博、董灿、冯国聪、胡牧、蒋厚明、胡昊伟、王勇、邓昊、卢立生、李健。
本标准为首次发布。
本标准在执行过程中的意见或建议反馈至中国电力企业联合会标准化管理中心（北京市白广路二条一号，100761）。
1范围
电力移动应用软件测试规范
DL/T2031—2019
本标准规定了电力移动应用软件在系统测试阶段的测试环境、测试方法和测试过程。本标准适用于电力行业移动应用软件的系统测试环节，其他软件系统可参照执行。2规范性引用文件
下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T15532计算机软件测试规范
GB17859计算机信息系统安全保护等级划分准则GB/T18336信息技术安全技术信息技术安全评估准购GB/T22239信息安全技术信息系统安全等级保护基本要求GB/T25069—2010信息安全技术术语GB/T34975信息安全技术移动智能终端应用软件安全技术和测试评价方法YD/T2558基于祖冲之算法的LTE终端和网络设备安全技术要求3术语和定义
GB/T15532、GB/T18336、GB/T25069—2010界定的以及下列术语和定义适用于本文件。3.1
移动应用软件mobileapplication可独立运行在移动终端系统上的应用，拥有系统本身独立的应用服务器、数据库服务器，不借用其他软件或平台作为入口，可独立发布、安装、运行、卸载等。3.2
黑盒测试blackboxtesting
在完全不考患程序内部结构和内部特性的情况下，检查程序功能是否按照需求规格说明书的规定正常使用，程序是否能适当地接收输入数据而产生正确的输出信息。3.3
交叉事件测试crosseventtest
一个功能正在执行过程中，同时另外一个事件或操作对该过程进行干扰的测试。3.4
系统完整性systemintegrity
系统能够以不受损害的方式执行其预定功能，避免对系统故意的或意外的未权操纵的特性。[GB/T25069—2010，定义2.1.49]3.5
数据完整性dataintegrity
数据没有遭受以未授权方式所做的更改或破坏的特性。［GB/T250692010，定义2.1.36]1
DL/T2031—2019
保密性confidentiality
使信息不泄露给未授权的个人、实体、进程，或不被其利用的特性。[GB/T25069—2010，定义2.1.1]3.7
加密技术encryptiontechnology采用数学方法对原始信息进行再组织，使得加密后在网络上公开传输的内容对于非法接受者来说成为无意义的文享的安全保密手段。3.8
组件component
对数据和方法的简单封装，本标准中包括组成安卓应用程序的组件，即Activities（活动）、Service（服务）、ContentProvider（内容提供器）、BroadcastReceiver（广播接收器）、Intent（意图）等。3.9
活动组件acitivitiescomponent安卓应用程序的组件之一，提供一个屏幕，负责与用户交互。3.10
服务组件service
安卓应用程序的组件之一，通常在后台运行，主要用于在后台处理一些耗时的逻辑，或者执行某些需要长期运行的任务。
contentprovider
内容提供器
安卓应用程序的组件之一，用来管理和共享应用程序的数据库。3.12
广播接收器
broadcastreceiver
安卓应用程序的组件之一，用于接收并响应广播通知。3.13
意图组件intent
安卓应用程序的组件之一，简单的消息传递框架。3.14
网络视图webview
移动平台提供给移动应用软件使用的软件开发工具包（SDK）封装好的组件，主要作为网络浏览器。3.15
代码混淆codeobfuscation
将计算机程序的代码转换成一种功能上等价，但是难于阅读和理解的形式的行为，目的是防止软件被破解或算改。
数字签名digitalsignature
一种类似写在纸上的普通的物理签名，但是使用了公钥加密领域的技术实现，用于鉴别数字信息的方法。一套数字签名通常定义两种互补的运算，一个用于签名，另一个用于验证。3.17
权限攻击privilegeattack
低权限程序调用高权限程序的攻击行为。2
模拟器simulator
可以在非移动平台，如Windows等环境下通过软件模拟移动平台系统的软件。4缩略语
下列缩略语适用于本文件。
ANR：应用程序无响应（applicationnotresponding）APl：应用程序编程接口（applicationprogramminginterface）FPS：画面每秒传输顿数（framespersecond）IPsec：Intemet协议安全性（internetprotocolsecurity）SSL：安全套接层（securesocketslayer）TLS：传输层安全（transportlayersecurity）5测试环境
DL/T2031—2019
测试环境应包括测试运行环境和测试工具环境。测试运行环境一般应符合电力移动应用的系统规格说明书和相关设计文档的要求，通常是开发环境或模拟仿真环境，移动应用软件测试环境一般包括客户端、服务端、测试通信网络，测试通信网络应使用适用手测试的安全无线接入设备。电力移动应用的网络要求应遵循相关电力移动应用设计说明文档，组建相应测试仿真网络环境，并在仿真网络环境下开展测试，测试使用的通信网络设备要求见YD/T2558。测试工具一般要求是经过认可的工具。测试环境的要求见GB/T15532。
6测试方法
主要涉及以下两种方法：下载标准就来标准下载网
a）黑盒测试：该方法的说明参见附录A。b）渗透测试：利用攻击工具或通过人工操作的方式攻击移动应用系统，验证其是否存在安全漏洞，参见附录B。
7功能测试
7.1功能性测试
7.1.1测试项
功能性测试应对照移动应用设计说明中的功能点，逐项对其进行测试用例设计，测试用例的设计应满足：
移动应用的每个功能特性应被一个或多个正常测试用例和一个或多个被认可的异常测试用例所a
覆盖：
测试用例的输入应至少包括有效等价类值、无效等价类值和边界数据值：b)
逐项测试移动应用设计说明规定的功能特性：测试移动应用配置项之间及软件配置项与硬件之间的接口；d)
测试移动应用输出及其格式：
测试运行条件在边界状态和异常状态下。7.1.2测试过程
下列测试过程适用于功能性测试：3
DL/T2031-—2019
a）根据需求规格说明书、概要设计等相关软件设计说明，分析并拆分移动应用功能点；b）根据拆分的移动应用功能点，采用“黑盒测试”方法逐一设计测试用例，测试用例应覆盖所有功能点，覆盖率应达到100%：
c）根据移动应用相关设计说明，编制每条测试用例的执行步骤、测试结果；d）执行每条测试用例：
e）检验执行结果是否满足测试用例预期结果：f）根据执行结果填写执行记录和缺陷报告。7.1.3测试结果
功能性测试结果，应满足下列要求：a）通过所有功能性测试用例；
b）移动应用应满足所有经评审后的设计说明规定文档中的功能要求。7.2交叉事件测试
7.2.1测试项
从交叉事件测试方面考虑，应测试：a）移动应用在填写表单时中断后的恢复情况：b）移动终端操作系统，在多个移动应用同时运行时是否影响被测移动应用正常功能c）移动应用运行时前后台切换、拨打接听电话、发送接收信息或邮件是否影响正常功能：d）移动应用在调用相机、定位功能、语音交互等功能并返回移动应用后的运行情况。7.2.2测试过程
下列测试过程适用手交支事件测试：a）使用移动应用功能时，移动终端中断移动应用运行，检查中断移动应用运行后，移动应用恢复操作情况：
b）使用移动应用在调用的相机、定位功能、语音交互等功能后，移动应用恢复的正确性c）移动终端操作系统中同时运行多个移动应用（含被测移动应用），检查被测移动应用的运行情况。7.2.3测试结果
交叉事件测试结果，应满足下列要求：a）移动应用中断恢复后，应保持移动应用会话：b）移动应用中断恢复后，操作其他功能正常无误；c）移动应用调用相机、定位时，应能正确跳转页面，并使用相关调用数据：d）移动应用调用相机切换回移动应用时，移动应用应正常运行e）移动终端操作系统中同时多个移动应用运行时，被测试移动应用应正常运行，保证功能完整性。8非功能测试
8.1性能（效率）测试
8.1.1服务端性能（效率）测试
8.1.1.1测试项
移动应用运行一段时间内，满足移动应用设计说明规定的测试场景、服务器资源、并发用户数量4
的同时，应测试移动应用服务端所能承受压力的强度，包括但不限于：a）响应时间：服务端响应事务的平均时长。b）每秒处理事务数（TPS)：服务端每秒处理事务的数量。c）事务通过率：服务端处理事务的成功率。d）CPU占用率：服务端在处理事务时，服务器CPU占用情况。内存占用率：服务端在处理事务时，服务器内存占用情况。e
硬盘I/O读写：服务端在处理事务时，服务器硬盘读写情况。8.1.1.2测试过程
下列测试过程适用于服务端性能（效率）测试：DL/T2031—2019
模拟测试场景操作步骤，与服务器建立连接，传输数据，并能得到正确的服务器反馈；a2
b）回放操作步骤，模拟并发用户操作典型移动应用场景，向服务器施加压力：c）统计模拟多人操作时，服务端响应能力和服务器资源占用情况。8.1.1.3测试结果
在满足最大并发用户数量的同时，服务端性能（效率）测试结果，应满足下列要求：a）响应时间应在移动应用设计说明规定的时间范围内，如移动应用设计说明未规定性能指标的一般情况下首页访问平均响应时间不应超过2s；移动应用登录平均响应时间不得超过3s执行简单查询、添加和删除业务时，平均响应时问不应超过4s：执行复杂的综合业务（同时包括查询、添加、删除等操作请求）时，平均响应时间不应超过6s；在执行统计业务时，月统计业务的平均响应时间不应超过10s，年统计业务的平均响应时间不应超过20s。b）每秒处理事务数（TPS）应满足移动应用设计说明规定的相关约束。c）事务通过率应满足移动应用设计说明规定的相关约束，一般事物失败率应小于0.1%。d）CPU占用率、内存占用率、硬盘VO读写应在移动应用设计说明规定的范围内，一般情况下应用服务器和数据库服务器的CPU平均利用率不应超过60%，且CPU利用率不应连续30s超过80%应用服务器的内存平均使用率不应超过75%，且内存使用率不应连续60s超过80%。
8.1.2客户端性能（效率）测试
8.1.2.1测试项
移动应用在不同芯片组、分辨力、型号的移动终端上执行安装、卸载、启动、运行操作时，应测试移动应用在移动终端运行时的各方面性能数据，包括但不限于：a）Android移动终端：
1）响应时间：移动应用在移动终端上安装、启动、运行、卸载的响应时长。2）CPU占用率：移动应用运行一定时间内占用移动终端的CPU的平均率。内存占用率：移动应用运行一定时间内占用移动终端的内存的平均率。3）
4）FPS染：移动应用在移动终端运行一定时间内平均每秒疽染顿数。5）耗电量：移动应用在移动终端运行一定时间内平均耗电量。6）电池温度：移动应用在移动终端运行一定时间内的平均电池温度。7）发送、接收流量：移动应用在移动终端运行一定时间内发送和接收的平均流量数量。b）ios移动终端：
1）CPU占用率：移动应用运行一定时间内占用移动终端的CPU的平均率。5
DL/T2031—2019
2）内存占用率：移动应用运行一定时间内占用移动终端的内存的平均率。3）发送、接收流量：移动应用在移动终端运行一定时间内发送和接收的平均流量数量。8.1.2.2测试过程
下列测试过程适用于客户端性能（效率）测试：a）移动应用软件安装包下发至各移动终端b）通过自动化技术手段，在各移动终端进行安装、启动、运行、卸载操作；c）查看移动应用在移动终端设备运行进程名称，根据进程名称分别记录移动应用运行占用的资源情况。
8.1.2.3测试结果
客户端性能（效率）测试结果，应满足下列要求a）生成客户端性能测试报告，显示移动应用在不同Android移动终端安装、启动、运行、卸载时的响应时间、CPU占用率、内存占用率、FPS染、耗电量、电池温度、发送接收流量：b）生成客户端性能测试报告，显示移动应用在不同iOS移动终端安装、启动、运行、卸载时的CPU占用率、内存占用率、发送接收流量：c）根据生成的客户端性能测试报告，提出建议性缺陷，提高移动应用在移动终端的运行效率。8.2兼容性测试
8.2.1测试项
从兼容性测试方面考虑，应测试：a）移动应用在不同机型、不同分辨力、不同操作系统的移动终端适配性，持续运行时长不应小于10min
b）移动应用在移动终端处于低内存空间、高CPU占用的环境下的表现。8.2.2测试过程
下列测试过程适用于兼容性测试：a）将移动应用安装包分发至不同机型、不同分辨力、不同移动操作系统版本的移动终端上，并执行安装、卸载、启动、运行等操作，分别查看移动应用在移动终端上的运行情况；b）利用技术手段，使测试终端设备处于低电量、低内存空间、高CPU占用，检测移动应用在不同极限环境下的运行情况。
8.2.3测试结果
兼容性测试结果，应满足下列要求：a）生成兼容性测试报告，移动应用应适配更多移动终端，宜保证本年度市场占有率前三位的Android移动终端不出现闪退、卡顿、ANR、Crash等问题，iOS类移动应用宜保证iOS移动终端上正确运行且不出现任何问题。对于移动应用不适配本年度市场占有率前三位的Android移动终端的情况，提出严重缺陷：对于移动应用不适配其他Android移动终端的情况，提出建议或一般缺陷。对于iOS类移动应用不适配iOS移动终端的情况，提出严重缺陷；移动应用应适配专控智能移动终端，对于移动应用不适配专控智能移动终端的情况，提出严重缺陷。移动应用宜在低内存空间、高CPU占用的移动终端上稳定运行，移动应用应避免因移动终端b
的低内存空间、高CPU占用原因出现问题，应具备清理移动终端缓存或提示用户手动清理移6
动终端缓存的机制。
8.3易用性测试
8.3.1测试项
从易用性方面考虑，可测试：
DL/T2031—2019
a）易理解性，包括但不限于用户手册易理解、移动应用界面易理解、移动应用演示易理解、输入输出含义易理解。
易学习性，包括但不限于用户手册易学习、培训手册易学习、移动应用系统文档易学习。b）
易操作性，包括但不限于表单各字段填写校验、移动应用提示语、移动应用页面风格规范性、c
键盘快捷键支持情况。
d）吸引性，包括但不限于移动应用页面元素。8.3.2测试过程
下列测试过程适用于易用性测试：a）查看用户手册内容，操作移动应用过程中查看页面布局，查看输入输出项的易理解性；b）查看用户手册、培训手册、移动应用系统文档，查看文档能否帮助用户学习操作：c）检测过程对表单输入边界值外的数据，查看移动应用所有提示语及移动应用页面风格一致性是否能使用键盘快捷键：
d）检测过程中查看移动应用页面所有的元素是否美观，具备吸引性。8.3.3测试结果
易用性测试结果，应满足下列要求：a）用户手册中的术语、图形、背景信息、移动应用帮助应有助于理解移动应用操作，移动应用界面、排版简单易懂，演示应充分、易识别、易理解，界面的输入、输出格式和含义应具备易理解性，符合电力行业移动应用界面要求；b）用户手册、培训手册、移动应用系统文档应具备有效性、一致性，易定位；c）移动应用内的各输入项应提供校验机制，提示信息友好，界面、字体风格统一易识别，支持键盘快捷键输入：
d）移动应用内的所有界面元素应保持一定比例，界面美观程度应符合相关电力行业移动应用界面的管理要求。
8.4可靠性测试
8.4.1测试项
从可靠性测试方面考虑，可测试：a）容错性，包括但不限于用户误操作的处理方式、误操作后的数据处理情况、误操作后移动应用的运行情况。
b）成熟度，包括但不限于检测期间内出现的故障、纠正故障的数量，易恢复性，包括但不限于出现移动应用系统宕机和服务停止时的恢复情况。d）稳定性，包括但不限于：
1）服务端承受最大并发数量持续运行4h：2）移动应用在不同机型、不同分辨力、不同操作系统的移动终端上持续运行不少于20min。7
DL/T2031—2019
8.4.2测试过程
下列测试过程适用于可靠性测试：a）移动应用操作过程中出现误操作，包括填写表单超出限制范围，违反正确业务逻辑等：b）记录检测过程中移动应用出现的故障及故障纠正数量；c）当出现移动应用岩机及服务停止时，记录移动应用系统恢复运行的时长，恢复后是否能正常运行，数据是否丢失；
d）在满足移动应用最大并发数量且在选定好的测试场景下，持续对服务端进行业务请求，查看服务端运行情况
e）移动应用在多台移动终端上，通过自动化测试手段持续运行，查看移动应用运行情况。8.4.3测试结果
可靠性测试结果，应满足下列要求：a）移动应用应具备屏蔽用户误操作，并提供错误原因和纠正信息，输入错误数据或错误操作时，移动应用系统不崩溃、不异常退出、不丢失数据；b）检测过程中出现的移动应用故障应能及时解决，解决后不再出现该故障；c）检测期问模拟真实用户操作，移动应用系统因业务压力导致岩机或服务停止时，恢复时问不应大于1h：
d）服务端在最大并发数量持续运行4h期间，不应出现岩机或服务停正，移动应用系统应保持稳定运行，响应时间、每秒处理事务次数、事务通过率、CPU占用率、内存占用率、I/O读写应在移动应用系统设计说明规定的范围内：e）移动应用应兼容本年度市场占有率前三位的Android移动终端并能稳定运行，不出现任何问题，iOS类移动应用全部兼容iOS移动终端。8.5可维护性测试
8.5.1测试项
从可维护性测试方面考虑，可测试：a）易分析性，包括但不限于自我诊断能力、日志输出、日志级别配置。b）易配置性，包括但不限于图形页面配置、权限粒度。c）易修改性，包括但不限于变更服务手段。d）易测试性，包括但不限于内置测试功能、测试工具支持。8.5.2测试过程
下列测试过程适用于可维护性测试：a）查看服务端日志，检测移动应用分析诊断能力。b）查看移动应用图形化页面及权限配置页面，检测移动应用可配置能力。c）查看移动应用配置参数元文件，检测移动应用修改能力。d）使用主流测试工作，检测移动应用对主流测试工具的支持。8.5.3测试结果
可维护性测试结果，应满足下列要求：a）移动应用应具备完善的日志和自我诊断能力，提供多种日志输出，包括运行日志、错误日志、8
登录日志等，日志格式统一，日志级别可配置DL/T2031-2019
提供图形化配置页面，尽量避免对数据库、配置文件直接进行操作，缩小权限粒度，应拥有权b)
限配置页面，明确各权限范围；当移动应用出现异常或故障时，移动应用应提供及时变更服务手段，可利用参数及时变更移动c）
应用软件，变更后能及时反馈到移动应用；d）移动应用应支持主流测试工具，提供一定的内置测试功能。8.6可移植性测试
8.6.1测试项
从可移植性测试方面考虑：可测试：a）适从性，包括但不限于对移动应用服务端元组文件的修改、多环境安装部署、多环境正确运行：b）易安装性，包括但不限于主流安装模式、根据文档安装、自定义安装、卸载重新安装：c）共存性，包括但不限于与其他软件共存。8.6.2测试过程
下列测试过程适用于可移植性测试：a）在多操作系统环境下安装部署移动应用服务端，检测移动应用运行情况：b）使用多种模式安装，包括服务端和移动终端：c）安装完成是否影响其他移动应用的正常运行。8.6.3测试结果
可移植性测试结果，应满足下列要求：a）移动应用元组件修改且配置正确情况下，移动应用能正常运行：部署在不同操作系统情况下，移动应用能正常运行b)
移动应用应使用主流的安装模式，可根据安装文档或自定义安装部署，包括服务端和移动终端：d）移动应用卸载后重新安装，可正常运行，无任何残留数据，无故障；e）移动应用正确安装部署后，应与移动终端操作系统的其他移动应用共存，无其他排异反应。8.7用户文档集检查
8.7.1测试项
从用户文档集查检方面考患，可测试：a）文档的完备性，包括但不限于移动应用安装所需信息、产品描述所有功能、移动应用维护所需信息、用户手册完整：
b）文档的一致性，包括但不限于测试移动应用时对照文档准确性、文档与文档间的描述一致性，文档与文档间互不矛盾且术语一致；c）文档质量，包括但不限于符合文档编写规范且覆盖所有功能点、关键功能点应有图文说明。8.7.2测试过程
采用文档查阅，与实际移动应用操作对照，检查文档完备性、一致性及文档质量。8.7.3测试结果
用户文档集检查结果，应满足下列要求：9
小提示：此标准内容仅展示完整标准里的部分截取内容，若需要完整标准请到上方自行免费下载完整标准文档。
中华人民共和国电力行业标准
DL/T2031—2019
电力移动应用软件测试规范
Test specification forpowermobileapplication software2019-06-04发布
国家能源局
2019-10-01实施
1范围
2规范性引用文件
3术语和定义
4缩略语
5测试环境·
6测试方法
7功能测试
7.1功能性测试
7.2交叉事件测试
8非功能测试
8.1性能（效率）测试
8.2兼容性测试
8.3易用性测试
8.4可靠性测试
8.5可维护性测试
8.6可移植性测试
8.7用户文档集检查
9安全测试
9.1移动应用服务端
9.2移动应用客户端
附录A（资料性附录）
附录B（资料性附录）
附录C（资料性附录）
附录D（资料性附录）
黑盒测试方法
渗透测试方法示例·
综合评价方法
测试工具
DL/T2031—2019
DL/T2031—2019
本标准按照GB/T1.1一2009《标准化工作导则第1部分：标准的结构和编写》给出的规则起草。本标准由中国电力企业联合会提出。本标准由电力行业信息标准化技术委员会（DL/TC27）归口。本标准起草单位：中国电力科学研究院有限公司、国家电网有限公司、中国南方电网有限责任公司、南瑞集团有限公司、国网山东省电力有限公司。本标准主要起草人：汪洋、王志英、丁慧霞、汤国龙、程磊、赵莹、颜月平、方帅、王智慧、张庚、滕玲、李哲、陈相舟、董慧博、董灿、冯国聪、胡牧、蒋厚明、胡昊伟、王勇、邓昊、卢立生、李健。
本标准为首次发布。
本标准在执行过程中的意见或建议反馈至中国电力企业联合会标准化管理中心（北京市白广路二条一号，100761）。
1范围
电力移动应用软件测试规范
DL/T2031—2019
本标准规定了电力移动应用软件在系统测试阶段的测试环境、测试方法和测试过程。本标准适用于电力行业移动应用软件的系统测试环节，其他软件系统可参照执行。2规范性引用文件
下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T15532计算机软件测试规范
GB17859计算机信息系统安全保护等级划分准则GB/T18336信息技术安全技术信息技术安全评估准购GB/T22239信息安全技术信息系统安全等级保护基本要求GB/T25069—2010信息安全技术术语GB/T34975信息安全技术移动智能终端应用软件安全技术和测试评价方法YD/T2558基于祖冲之算法的LTE终端和网络设备安全技术要求3术语和定义
GB/T15532、GB/T18336、GB/T25069—2010界定的以及下列术语和定义适用于本文件。3.1
移动应用软件mobileapplication可独立运行在移动终端系统上的应用，拥有系统本身独立的应用服务器、数据库服务器，不借用其他软件或平台作为入口，可独立发布、安装、运行、卸载等。3.2
黑盒测试blackboxtesting
在完全不考患程序内部结构和内部特性的情况下，检查程序功能是否按照需求规格说明书的规定正常使用，程序是否能适当地接收输入数据而产生正确的输出信息。3.3
交叉事件测试crosseventtest
一个功能正在执行过程中，同时另外一个事件或操作对该过程进行干扰的测试。3.4
系统完整性systemintegrity
系统能够以不受损害的方式执行其预定功能，避免对系统故意的或意外的未权操纵的特性。[GB/T25069—2010，定义2.1.49]3.5
数据完整性dataintegrity
数据没有遭受以未授权方式所做的更改或破坏的特性。［GB/T250692010，定义2.1.36]1
DL/T2031—2019
保密性confidentiality
使信息不泄露给未授权的个人、实体、进程，或不被其利用的特性。[GB/T25069—2010，定义2.1.1]3.7
加密技术encryptiontechnology采用数学方法对原始信息进行再组织，使得加密后在网络上公开传输的内容对于非法接受者来说成为无意义的文享的安全保密手段。3.8
组件component
对数据和方法的简单封装，本标准中包括组成安卓应用程序的组件，即Activities（活动）、Service（服务）、ContentProvider（内容提供器）、BroadcastReceiver（广播接收器）、Intent（意图）等。3.9
活动组件acitivitiescomponent安卓应用程序的组件之一，提供一个屏幕，负责与用户交互。3.10
服务组件service
安卓应用程序的组件之一，通常在后台运行，主要用于在后台处理一些耗时的逻辑，或者执行某些需要长期运行的任务。
contentprovider
内容提供器
安卓应用程序的组件之一，用来管理和共享应用程序的数据库。3.12
广播接收器
broadcastreceiver
安卓应用程序的组件之一，用于接收并响应广播通知。3.13
意图组件intent
安卓应用程序的组件之一，简单的消息传递框架。3.14
网络视图webview
移动平台提供给移动应用软件使用的软件开发工具包（SDK）封装好的组件，主要作为网络浏览器。3.15
代码混淆codeobfuscation
将计算机程序的代码转换成一种功能上等价，但是难于阅读和理解的形式的行为，目的是防止软件被破解或算改。
数字签名digitalsignature
一种类似写在纸上的普通的物理签名，但是使用了公钥加密领域的技术实现，用于鉴别数字信息的方法。一套数字签名通常定义两种互补的运算，一个用于签名，另一个用于验证。3.17
权限攻击privilegeattack
低权限程序调用高权限程序的攻击行为。2
模拟器simulator
可以在非移动平台，如Windows等环境下通过软件模拟移动平台系统的软件。4缩略语
下列缩略语适用于本文件。
ANR：应用程序无响应（applicationnotresponding）APl：应用程序编程接口（applicationprogramminginterface）FPS：画面每秒传输顿数（framespersecond）IPsec：Intemet协议安全性（internetprotocolsecurity）SSL：安全套接层（securesocketslayer）TLS：传输层安全（transportlayersecurity）5测试环境
DL/T2031—2019
测试环境应包括测试运行环境和测试工具环境。测试运行环境一般应符合电力移动应用的系统规格说明书和相关设计文档的要求，通常是开发环境或模拟仿真环境，移动应用软件测试环境一般包括客户端、服务端、测试通信网络，测试通信网络应使用适用手测试的安全无线接入设备。电力移动应用的网络要求应遵循相关电力移动应用设计说明文档，组建相应测试仿真网络环境，并在仿真网络环境下开展测试，测试使用的通信网络设备要求见YD/T2558。测试工具一般要求是经过认可的工具。测试环境的要求见GB/T15532。
6测试方法
主要涉及以下两种方法：下载标准就来标准下载网
a）黑盒测试：该方法的说明参见附录A。b）渗透测试：利用攻击工具或通过人工操作的方式攻击移动应用系统，验证其是否存在安全漏洞，参见附录B。
7功能测试
7.1功能性测试
7.1.1测试项
功能性测试应对照移动应用设计说明中的功能点，逐项对其进行测试用例设计，测试用例的设计应满足：
移动应用的每个功能特性应被一个或多个正常测试用例和一个或多个被认可的异常测试用例所a
覆盖：
测试用例的输入应至少包括有效等价类值、无效等价类值和边界数据值：b)
逐项测试移动应用设计说明规定的功能特性：测试移动应用配置项之间及软件配置项与硬件之间的接口；d)
测试移动应用输出及其格式：
测试运行条件在边界状态和异常状态下。7.1.2测试过程
下列测试过程适用于功能性测试：3
DL/T2031-—2019
a）根据需求规格说明书、概要设计等相关软件设计说明，分析并拆分移动应用功能点；b）根据拆分的移动应用功能点，采用“黑盒测试”方法逐一设计测试用例，测试用例应覆盖所有功能点，覆盖率应达到100%：
c）根据移动应用相关设计说明，编制每条测试用例的执行步骤、测试结果；d）执行每条测试用例：
e）检验执行结果是否满足测试用例预期结果：f）根据执行结果填写执行记录和缺陷报告。7.1.3测试结果
功能性测试结果，应满足下列要求：a）通过所有功能性测试用例；
b）移动应用应满足所有经评审后的设计说明规定文档中的功能要求。7.2交叉事件测试
7.2.1测试项
从交叉事件测试方面考虑，应测试：a）移动应用在填写表单时中断后的恢复情况：b）移动终端操作系统，在多个移动应用同时运行时是否影响被测移动应用正常功能c）移动应用运行时前后台切换、拨打接听电话、发送接收信息或邮件是否影响正常功能：d）移动应用在调用相机、定位功能、语音交互等功能并返回移动应用后的运行情况。7.2.2测试过程
下列测试过程适用手交支事件测试：a）使用移动应用功能时，移动终端中断移动应用运行，检查中断移动应用运行后，移动应用恢复操作情况：
b）使用移动应用在调用的相机、定位功能、语音交互等功能后，移动应用恢复的正确性c）移动终端操作系统中同时运行多个移动应用（含被测移动应用），检查被测移动应用的运行情况。7.2.3测试结果
交叉事件测试结果，应满足下列要求：a）移动应用中断恢复后，应保持移动应用会话：b）移动应用中断恢复后，操作其他功能正常无误；c）移动应用调用相机、定位时，应能正确跳转页面，并使用相关调用数据：d）移动应用调用相机切换回移动应用时，移动应用应正常运行e）移动终端操作系统中同时多个移动应用运行时，被测试移动应用应正常运行，保证功能完整性。8非功能测试
8.1性能（效率）测试
8.1.1服务端性能（效率）测试
8.1.1.1测试项
移动应用运行一段时间内，满足移动应用设计说明规定的测试场景、服务器资源、并发用户数量4
的同时，应测试移动应用服务端所能承受压力的强度，包括但不限于：a）响应时间：服务端响应事务的平均时长。b）每秒处理事务数（TPS)：服务端每秒处理事务的数量。c）事务通过率：服务端处理事务的成功率。d）CPU占用率：服务端在处理事务时，服务器CPU占用情况。内存占用率：服务端在处理事务时，服务器内存占用情况。e
硬盘I/O读写：服务端在处理事务时，服务器硬盘读写情况。8.1.1.2测试过程
下列测试过程适用于服务端性能（效率）测试：DL/T2031—2019
模拟测试场景操作步骤，与服务器建立连接，传输数据，并能得到正确的服务器反馈；a2
b）回放操作步骤，模拟并发用户操作典型移动应用场景，向服务器施加压力：c）统计模拟多人操作时，服务端响应能力和服务器资源占用情况。8.1.1.3测试结果
在满足最大并发用户数量的同时，服务端性能（效率）测试结果，应满足下列要求：a）响应时间应在移动应用设计说明规定的时间范围内，如移动应用设计说明未规定性能指标的一般情况下首页访问平均响应时间不应超过2s；移动应用登录平均响应时间不得超过3s执行简单查询、添加和删除业务时，平均响应时问不应超过4s：执行复杂的综合业务（同时包括查询、添加、删除等操作请求）时，平均响应时间不应超过6s；在执行统计业务时，月统计业务的平均响应时间不应超过10s，年统计业务的平均响应时间不应超过20s。b）每秒处理事务数（TPS）应满足移动应用设计说明规定的相关约束。c）事务通过率应满足移动应用设计说明规定的相关约束，一般事物失败率应小于0.1%。d）CPU占用率、内存占用率、硬盘VO读写应在移动应用设计说明规定的范围内，一般情况下应用服务器和数据库服务器的CPU平均利用率不应超过60%，且CPU利用率不应连续30s超过80%应用服务器的内存平均使用率不应超过75%，且内存使用率不应连续60s超过80%。
8.1.2客户端性能（效率）测试
8.1.2.1测试项
移动应用在不同芯片组、分辨力、型号的移动终端上执行安装、卸载、启动、运行操作时，应测试移动应用在移动终端运行时的各方面性能数据，包括但不限于：a）Android移动终端：
1）响应时间：移动应用在移动终端上安装、启动、运行、卸载的响应时长。2）CPU占用率：移动应用运行一定时间内占用移动终端的CPU的平均率。内存占用率：移动应用运行一定时间内占用移动终端的内存的平均率。3）
4）FPS染：移动应用在移动终端运行一定时间内平均每秒疽染顿数。5）耗电量：移动应用在移动终端运行一定时间内平均耗电量。6）电池温度：移动应用在移动终端运行一定时间内的平均电池温度。7）发送、接收流量：移动应用在移动终端运行一定时间内发送和接收的平均流量数量。b）ios移动终端：
1）CPU占用率：移动应用运行一定时间内占用移动终端的CPU的平均率。5
DL/T2031—2019
2）内存占用率：移动应用运行一定时间内占用移动终端的内存的平均率。3）发送、接收流量：移动应用在移动终端运行一定时间内发送和接收的平均流量数量。8.1.2.2测试过程
下列测试过程适用于客户端性能（效率）测试：a）移动应用软件安装包下发至各移动终端b）通过自动化技术手段，在各移动终端进行安装、启动、运行、卸载操作；c）查看移动应用在移动终端设备运行进程名称，根据进程名称分别记录移动应用运行占用的资源情况。
8.1.2.3测试结果
客户端性能（效率）测试结果，应满足下列要求a）生成客户端性能测试报告，显示移动应用在不同Android移动终端安装、启动、运行、卸载时的响应时间、CPU占用率、内存占用率、FPS染、耗电量、电池温度、发送接收流量：b）生成客户端性能测试报告，显示移动应用在不同iOS移动终端安装、启动、运行、卸载时的CPU占用率、内存占用率、发送接收流量：c）根据生成的客户端性能测试报告，提出建议性缺陷，提高移动应用在移动终端的运行效率。8.2兼容性测试
8.2.1测试项
从兼容性测试方面考虑，应测试：a）移动应用在不同机型、不同分辨力、不同操作系统的移动终端适配性，持续运行时长不应小于10min
b）移动应用在移动终端处于低内存空间、高CPU占用的环境下的表现。8.2.2测试过程
下列测试过程适用于兼容性测试：a）将移动应用安装包分发至不同机型、不同分辨力、不同移动操作系统版本的移动终端上，并执行安装、卸载、启动、运行等操作，分别查看移动应用在移动终端上的运行情况；b）利用技术手段，使测试终端设备处于低电量、低内存空间、高CPU占用，检测移动应用在不同极限环境下的运行情况。
8.2.3测试结果
兼容性测试结果，应满足下列要求：a）生成兼容性测试报告，移动应用应适配更多移动终端，宜保证本年度市场占有率前三位的Android移动终端不出现闪退、卡顿、ANR、Crash等问题，iOS类移动应用宜保证iOS移动终端上正确运行且不出现任何问题。对于移动应用不适配本年度市场占有率前三位的Android移动终端的情况，提出严重缺陷：对于移动应用不适配其他Android移动终端的情况，提出建议或一般缺陷。对于iOS类移动应用不适配iOS移动终端的情况，提出严重缺陷；移动应用应适配专控智能移动终端，对于移动应用不适配专控智能移动终端的情况，提出严重缺陷。移动应用宜在低内存空间、高CPU占用的移动终端上稳定运行，移动应用应避免因移动终端b
的低内存空间、高CPU占用原因出现问题，应具备清理移动终端缓存或提示用户手动清理移6
动终端缓存的机制。
8.3易用性测试
8.3.1测试项
从易用性方面考虑，可测试：
DL/T2031—2019
a）易理解性，包括但不限于用户手册易理解、移动应用界面易理解、移动应用演示易理解、输入输出含义易理解。
易学习性，包括但不限于用户手册易学习、培训手册易学习、移动应用系统文档易学习。b）
易操作性，包括但不限于表单各字段填写校验、移动应用提示语、移动应用页面风格规范性、c
键盘快捷键支持情况。
d）吸引性，包括但不限于移动应用页面元素。8.3.2测试过程
下列测试过程适用于易用性测试：a）查看用户手册内容，操作移动应用过程中查看页面布局，查看输入输出项的易理解性；b）查看用户手册、培训手册、移动应用系统文档，查看文档能否帮助用户学习操作：c）检测过程对表单输入边界值外的数据，查看移动应用所有提示语及移动应用页面风格一致性是否能使用键盘快捷键：
d）检测过程中查看移动应用页面所有的元素是否美观，具备吸引性。8.3.3测试结果
易用性测试结果，应满足下列要求：a）用户手册中的术语、图形、背景信息、移动应用帮助应有助于理解移动应用操作，移动应用界面、排版简单易懂，演示应充分、易识别、易理解，界面的输入、输出格式和含义应具备易理解性，符合电力行业移动应用界面要求；b）用户手册、培训手册、移动应用系统文档应具备有效性、一致性，易定位；c）移动应用内的各输入项应提供校验机制，提示信息友好，界面、字体风格统一易识别，支持键盘快捷键输入：
d）移动应用内的所有界面元素应保持一定比例，界面美观程度应符合相关电力行业移动应用界面的管理要求。
8.4可靠性测试
8.4.1测试项
从可靠性测试方面考虑，可测试：a）容错性，包括但不限于用户误操作的处理方式、误操作后的数据处理情况、误操作后移动应用的运行情况。
b）成熟度，包括但不限于检测期间内出现的故障、纠正故障的数量，易恢复性，包括但不限于出现移动应用系统宕机和服务停止时的恢复情况。d）稳定性，包括但不限于：
1）服务端承受最大并发数量持续运行4h：2）移动应用在不同机型、不同分辨力、不同操作系统的移动终端上持续运行不少于20min。7
DL/T2031—2019
8.4.2测试过程
下列测试过程适用于可靠性测试：a）移动应用操作过程中出现误操作，包括填写表单超出限制范围，违反正确业务逻辑等：b）记录检测过程中移动应用出现的故障及故障纠正数量；c）当出现移动应用岩机及服务停止时，记录移动应用系统恢复运行的时长，恢复后是否能正常运行，数据是否丢失；
d）在满足移动应用最大并发数量且在选定好的测试场景下，持续对服务端进行业务请求，查看服务端运行情况
e）移动应用在多台移动终端上，通过自动化测试手段持续运行，查看移动应用运行情况。8.4.3测试结果
可靠性测试结果，应满足下列要求：a）移动应用应具备屏蔽用户误操作，并提供错误原因和纠正信息，输入错误数据或错误操作时，移动应用系统不崩溃、不异常退出、不丢失数据；b）检测过程中出现的移动应用故障应能及时解决，解决后不再出现该故障；c）检测期问模拟真实用户操作，移动应用系统因业务压力导致岩机或服务停止时，恢复时问不应大于1h：
d）服务端在最大并发数量持续运行4h期间，不应出现岩机或服务停正，移动应用系统应保持稳定运行，响应时间、每秒处理事务次数、事务通过率、CPU占用率、内存占用率、I/O读写应在移动应用系统设计说明规定的范围内：e）移动应用应兼容本年度市场占有率前三位的Android移动终端并能稳定运行，不出现任何问题，iOS类移动应用全部兼容iOS移动终端。8.5可维护性测试
8.5.1测试项
从可维护性测试方面考虑，可测试：a）易分析性，包括但不限于自我诊断能力、日志输出、日志级别配置。b）易配置性，包括但不限于图形页面配置、权限粒度。c）易修改性，包括但不限于变更服务手段。d）易测试性，包括但不限于内置测试功能、测试工具支持。8.5.2测试过程
下列测试过程适用于可维护性测试：a）查看服务端日志，检测移动应用分析诊断能力。b）查看移动应用图形化页面及权限配置页面，检测移动应用可配置能力。c）查看移动应用配置参数元文件，检测移动应用修改能力。d）使用主流测试工作，检测移动应用对主流测试工具的支持。8.5.3测试结果
可维护性测试结果，应满足下列要求：a）移动应用应具备完善的日志和自我诊断能力，提供多种日志输出，包括运行日志、错误日志、8
登录日志等，日志格式统一，日志级别可配置DL/T2031-2019
提供图形化配置页面，尽量避免对数据库、配置文件直接进行操作，缩小权限粒度，应拥有权b)
限配置页面，明确各权限范围；当移动应用出现异常或故障时，移动应用应提供及时变更服务手段，可利用参数及时变更移动c）
应用软件，变更后能及时反馈到移动应用；d）移动应用应支持主流测试工具，提供一定的内置测试功能。8.6可移植性测试
8.6.1测试项
从可移植性测试方面考虑：可测试：a）适从性，包括但不限于对移动应用服务端元组文件的修改、多环境安装部署、多环境正确运行：b）易安装性，包括但不限于主流安装模式、根据文档安装、自定义安装、卸载重新安装：c）共存性，包括但不限于与其他软件共存。8.6.2测试过程
下列测试过程适用于可移植性测试：a）在多操作系统环境下安装部署移动应用服务端，检测移动应用运行情况：b）使用多种模式安装，包括服务端和移动终端：c）安装完成是否影响其他移动应用的正常运行。8.6.3测试结果
可移植性测试结果，应满足下列要求：a）移动应用元组件修改且配置正确情况下，移动应用能正常运行：部署在不同操作系统情况下，移动应用能正常运行b)
移动应用应使用主流的安装模式，可根据安装文档或自定义安装部署，包括服务端和移动终端：d）移动应用卸载后重新安装，可正常运行，无任何残留数据，无故障；e）移动应用正确安装部署后，应与移动终端操作系统的其他移动应用共存，无其他排异反应。8.7用户文档集检查
8.7.1测试项
从用户文档集查检方面考患，可测试：a）文档的完备性，包括但不限于移动应用安装所需信息、产品描述所有功能、移动应用维护所需信息、用户手册完整：
b）文档的一致性，包括但不限于测试移动应用时对照文档准确性、文档与文档间的描述一致性，文档与文档间互不矛盾且术语一致；c）文档质量，包括但不限于符合文档编写规范且覆盖所有功能点、关键功能点应有图文说明。8.7.2测试过程
采用文档查阅，与实际移动应用操作对照，检查文档完备性、一致性及文档质量。8.7.3测试结果
用户文档集检查结果，应满足下列要求：9
小提示：此标准内容仅展示完整标准里的部分截取内容，若需要完整标准请到上方自行免费下载完整标准文档。