首页 > 通信行业标准(YD) > YD/T 2334-2011 灾备数据一致性测试方法
YD/T 2334-2011

基本信息

标准号: YD/T 2334-2011

中文名称:灾备数据一致性测试方法

标准类别:通信行业标准(YD)

标准状态:现行

出版语种:简体中文

下载格式:.zip .pdf

下载大小:3303034

相关标签: 灾备 数据 一致性 测试方法

标准分类号

关联标准

出版信息

相关单位信息

标准简介

YD/T 2334-2011.Consistency test methods for disaster recovery data.
1范围
YD/T 2334规定了灾备数据-致性的测试要求、一致性测试场景及方法等内容。
YD/T 2334适用于灾备方案研发和测试过程中所有的数据一致性 测试规划、测试设计、测试执行等测试活动。
2规范性引用文件
下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅所注日期的版本适用于本文件。凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。
GB/T 20988-2007信息安全技术信息系统灾难恢复规范
3术语和缩略语
3.1术语和定义
以下术语和定义适用于本文件。
3.1.1
恢复时间目标Recovery Time Objective,RTO
灾难发生后,信息系统或业务功能从停顿到必须恢复的时间要求。
3.1.2
恢复点目标Recovery Point Objective,RPO
灾难发生后,系统和数据必须恢复到的时间点要求。
3.2缩略语
下列缩略语适用于本文件。
IT                   Information Technology                       信息技术
LBA               Logical Block Addressing                 逻辑块寻址模式
LUN                 Logical Unit Number                         逻辑单元号
4概述
灾备数据的一致性特指在灾备技术实现中,原生产数据的局部载体和关联载体与通过灾备技术复制到远端的备份数据之间的数据逻辑关系是否正确和完整。假定某项数据是唯一的且是原子的,它不可能存在数据不一致性问题。

标准图片预览






标准内容

ICS35.220
中华人民共和国通信行业标准
YD/T2334-2011
灾备数据一致性测试方法
Consistency test methods for disaster recovery data2011-12-20发布
2011-12-20实施
中华人民共和国工业和信息化部发布前
2规范性引用文件·
3术语和缩略语·
3.1术语和定义
3.2缩略语·
4概述·
5灾备数据一致性测试要求
5.1灾备数据一致性测试架构。
5.2灾备数据一致性衡量标准
5.3灾备数据一致性测试要求
6灾备数据一致性测试场景及方法6.1数据存取层测试
6.2数据复制层测试*
6.3应用层测试
附录A(资料性附录)验证数据一致性的工具:自
附录B(资料性附录)灾备数据一致性测试流程及基本要求建筑32
示准查询下载网
YD/T2334-2011
YD/T2334-2011
本标准是通信灾备系列标准之一,该系列标准预计发布如下:《第三方灾备数据交换技术要求》《灾备系统性能测试方法》
一《灾备数据一致性测试方法》《持续系统保护/持续数据保护(CSP/CDP)灾备技术要求》随着灾备相关技术和业务的发展,还将制定后续相关标准。本标准按照GB/T1.1一2009给出的规则起草。本标准由中国通信标准化协会提出并归口。本标准起草单位:北京安码科技有限公司、北京邮电大学、华为技术有限公司、工业和信息化部电信研究院。
本标准主要起草人:辛·阳、杜晓峰、芦效峰、朱洪亮、黄敏、李杨兵、郑旭、李兴亮、蒋旭初、张刘。
YD/T2334-2011
IT管理员非常关注丢失的业务如何保证能被正常恢复。灾备数据数据一致性是业务能正常恢复的关键。灾备方案千差万别,研究如何采用科学的测试手段验证数据一致性,非常有价值。以往的一致性技术主要指存储设备,我国企业用各类型存储设备基本从国外进口,研究人员对此种类型的数据一致性研究并不充分,对远程复制技术数据一致性测试的研究更少。本标准目的是建立一个系统化的灾备数据一致性测试标准体系。该体系采用合理、优化的测试架构、方法和工具,从而实现科学地验证灾备数据的一致性,保证灾备方案可用性。建筑321-标准查询下载网
1范围
灾备数据一致性测试方法
本标准规定了灾备数据一致性的测试要求、一致性测试场景及方法等内容,YD/T2334-2011
本标准适用于灾备方案研发和测试过程中所有的数据一致性测试规划、测试设计、测试执行等测试活动。
2规范性引用文件
下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅所注日期的版本适用于本文件。凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。GB/T20988-2007信息安全技术信息系统灾难恢复规范3术语和缩略语
3.1术语和定义
以下术语和定义适用于本文件。3.1.1
恢复时间目标RecoveryTimeObjective,RTo灾难发生后,信息系统或业务功能从停顿到必须恢复的时间要求。3.1.2
恢复点目标RecoveryPointObjective,RPo灾难发生后,系统和数据必须恢复到的时间点要求。3.2缩略语
下列缩略语适用于本文件
4概述
Information Technology
Logical Block Addressing
Logical Unit Number
Network Attached Storage
Recovery Point Object
Recovery Time Object
Storage Area Network
Virtual Tape Library
信息技术
逻辑块寻址模式
逻辑单元号
网络附加存储
恢复点目标
恢复时间点目标
存储区域网络
虚拟磁带库
灾备数据的一致性特指在灾备技术实现中,原生产数据的局部载体和关联载体与通过灾备技术复制到远端的备份数据之间的数据逻辑关系是否正确和完整。假定某项数据是唯一的且是原子的,它不可能存在数据不一致性问题。
YD/T2334-2011
在复制技术方面应理解一致性和同步性之间的区别。容灾的数据复制有同步与异步两种方式:同步方式指复制同步发生,数据同时写入到主和次级存储系统:异步方式指复制异步执行,数据经延时后复制到复制目标。同步复制技术提供高度一致性,但需充足的带宽和低延时,在成本、性能影响方面仍有一定商用的局限。目前大多数复制技术是异步的,异步复制意味数据存在某种程度的不一致,这种差异基于本地和复制目标之间的变化率和可用带宽。在异步复制方式下,源系统和目标系统之间彼此不一致。异步复制方式的数据一致性关键是理解特殊业务功能各相关数据组件之间的相互依赖性,应保证它们之间在目标位置的任一指定时间点上是一致的(例如源系统的某一时间点经过延时到达目标系统形成的另一时间点数据是保持一致性的)。目标系统数据可能落后源系统,但只要后来它们是相同的,功能和应用程序就应能恢复。理解一致性的需求及其复制技术满足其一致性需求的能力,这在灾难恢复设计中应给予优先考虑。
5灾备数据一致性测试要求
5.1灾备数据一致性测试架构
为明确测试要求、规范测试活动,本标准针对业务特点抽象,采用分层分级,网状交叉的方式规划测试。这种规划能涵盖各种灾备方案,可科学衡量灾备一致性,能系统定位不一致的问题。架构如图1所示。
应用层
数据复制层
数据存取层
说明:
O不涉及
可能涉及
·涉及
4测试范围
国标容
灾级别
基本备用场地电子传输和电子传输和实时数据传输数据零丢失和部分设备完整设备和完整设备
图1灾备数据一一致性测试架构
远程集群支持
其中,工代表国家容灾标准定级,为灾备一致性测试架构横向层次,国家容灾标准定级见GB20988-2007。Ly代表从灾备数据一致性测试角度进行的IT架构分层,为灾备一致性测试架构纵向层次。纵向层次用于将履行类似功能的实体进行标识和分组。灾备一致性测试架构纵向层次为:a)数据存取层:指磁盘阵列、NAS、VTL。基于存储设备,通常是磁盘阵列的基本特性来完成磁盘读写。
b)数据复制层:指各种复制技术,镜像技术。这些技术包括:VTLIP复制,磁盘阵列远程镜像、虚拟网关远程复制、主机卷复制等。数据复制层实现可能在SAN中,也可能在主机侧。c)应用层:指主机层面客户可直接感知的服务。可归纳为下面两类:1)主机:文件服务,包括各种文件系统提供的文件服务。建筑321---标准查询下载网
2)主机:数据库和各种应用系统。5.2灾备数据一致性衡量标准
YD/T2334-2011
灾备数据一致性衡量标准结果可采用数字表达,也可采用逻辑表达,例如“是”、“否”。衡量标准见表1。
表1灾备数据一致性衡量标准
衡量标准
正常情况下,磁盘读写是否一致故障注入情况下,磁盘读写是否一致正常情况下,磁盘设备镜像是否数据一致故障注入情况下,磁盘设备镜像是否数据一致正常情况下,复制数据是否数据一致故障注入情况下,复制数据是否数据一致正常情况下,数据恢复到生产站点,生产站点应用是否可以正常启动
正常情况下,容灾站点的应用是否可以正常启动故障注入情况下,容灾站点的应用是否可以正常启动RPO
必选、可选
Lx1~Lx6必选
Lx1~Lx6必选
Lx3~Lx6有条件可选
Lx3~Lx6有条件可选
Lx3~Lx6有条件可选
Lx3~Lx6有条件可选
根据业务连续性方式可选
根据业务连续性方式可选
根据业务连续性方式可选
注1:*表示不是数据一致性测试必要衡量标准,但在灾难恢复领域衡量中经常使用。注2:10、11的结果类型为0到无限大的一个数字,单位为时间单位,比如:秒、分钟、小时等5.3灾备数据一致性测试要求
结果类型
[是、否】
[是、否
[是、否]
[是、香]
[是、香
[是、否
[是、否
[是、否]
[是、否
(0~无限】
(+时间单位)
(0~无限)
(+时间单位)
灾备数据一致性测试中应按照横向容灾级别分类,结合纵向层次,构造测试灾备数据一致性体系,并按照表1中的衡量标准来评估测试结果。a)1级:基本支持级
不涉及数据复制层。应采用数据存取层,应用层数据一致性测试方法,应采用表1中1、2、7号衡量标准。
b)2级:备用场地级
不涉及数据复制层。应采用数据存取层、应用层数据一致性测试方法,应采用表1中1、2、7号衡量标准。
c)3级:电子传输和部分设备支持级应采用数据存取层、数据复制层、应用层数据一致性测试方法,应采用表1中1~9号衡量标准。d)4级:电子传输和完整设备
应采用数据存取层、数据复制层、应用层数据一致性测试方法,应采用表1中1~9号衡量标准。e)5级:实时数据传输和完整设备应采用数据存取层、数据复制层、应用层数据一致性测试方法,应采用表1中1~9号衡量标准。f)6级:数据零丢失和远程集群支持应采用数据存取层、数据复制层、应用层数据一致性测试方法,应采用表1中1~9号衡量标准。YD/T2334-2011
6灾备数据一致性测试场景及方法6.1数据存取层测试
NAS、VTL等存储设备均建立在磁盘阵列之上,数据存取层数据一致性的核心问题是磁盘阵列的数据一致性测试。以下是关于磁盘阵列数据一致性测试的陈述。对于磁盘阵列,数据一致性的测试应覆盖磁盘阵列正常情况下的业务数据一致性,也应覆盖可能的单点故障时的业务数据一致性。典型的磁盘阵列对业务IO下发路径、控制器、电源等部件提供余保护。验证磁盘阵列的数据一致性,测试至少应包括以上部件故障时业务的数据一致性测试。应验证数据一致性的场景见表2。表2磁盘阵列验证数据一致性
正常场景
故障注入
一链路
故障注
一控制器
故障注入
一硬盘
故障注入
一硬盘
故障注入
一供电系统
故障注入
一供电系统
故障注入
一级联框
故障注入
一级联框
故障注入
一级联框
具体场景
测试方法
1、保持磁盘阵列为裸设备,不创建文件系统;2、用业务读写工具(如Testtool,SDTester)并发读写磁盘阵列,验证数据是磁盘阵列软、硬件否一致
环境运行正常
1、在磁盘阵列上创建逻辑分区,创建文件系统:2、用业务读写工具(如Linux/Windows命令,SDTester)并发读写磁盘阵列验证数据是否一致
应用服务器到存1、
业务读写工具正常读写磁盘阵列:储阵列的部分102、
读写过程中注入故障,使得应用服务器到磁盘阵列的部分IO路径出现故障;路径故障
磁盘阵列单个控
制器故障
用业务读写工具验证数据是否一致3、
业务读写工具正常读写磁盘阵列:读写过程中注入故障,使得磁盘阵列单个控制器故障:3、用业务读写工具验证数据是否一致正在被读写的某
些磁盘出现故障
用新盘替换故障
单条供电线路出
现故障
磁盘阵列供电系
统异常断电
级联框单个级联
板故障
级联框供电系统
单条级联线故障
业务读写工具正常读写磁盘阵列读写过程中注入故障,使得正在被读写的某些磁盘出现故障:用业务读写工具验证数据是否一致3
业务读写工具正常读写磁盘阵列:1
读写过程中用新盘替换故障硬盘:用业务读写工具验证数据是否一致业务读写工具正常读写磁盘阵列:读写过程中单条供电线路出现故障,不能继续对磁盘阵列进行供电:用业务读写工具验证数据是否一致3
业务读写工具正常读写磁盘阵列:2.
读写过程中供电系统瘫痪,无法继续对磁盘阵列供电:用业务读写工具验证数据是否一致业务读写工具正常读写磁盘阵列:读写过程中注入故障,使得级联框单个级联板故障;用业务读写工具验证数据是否一致业务读写工具正常读写磁盘阵列;2
读写过程中级联框所在供电系统故障,无法继续对级联框供电:用业务读写工具验证数据是否一致3、
业务读写工具正常读写磁盘阵列;2
读写过程中注入故障,使得控制器到级联框的链路故障;用业务读写工具验证数据是否一致建筑321---标准查询下载网
针对以上场景,有以下两种一致性测试方法:a)基于文件比较的数据一致性测试方法YD/T2334-2011
此测试方法的思路是:将文件写入磁盘阵列提供给应用服务器的磁盘,写入结束后,从磁盘阵列中读取写入的文件,与源文件进行数据一致性比较。使用此测试方法,应屏蔽应用服务器的读写缓存,以保证IO返回成功后,写入数据已到达磁盘阵列:读取的文件数据来自磁盘阵列,而不是应用服务器的缓存。b)基于IO块比较的数据一致性测试方法磁盘阵列中任何一个穴余部件出现单点故障,不应导致业务数据丢失。所以,对于磁盘阵列返回的所有成功的写IO,应一直保存直到下一次被改写。基于IO的数据一致性测试,基本原理是:对一个磁盘阵列提供给应用服务器的磁盘,写入带有标记的测试数据(保证每一个IO都不相同),写入成功后,读取写下去的数据(可以有长时间或多次的读取),并与之前写入的数据进行比较。数据相同,表明数据一致;否则,表明数据有丢失或不一致。具体比较策略可以有并发IO一次比较、并发IO一次写入多次比较等多种。
使用此测试方法,同样应屏蔽应用服务器的读写缓存,以保证IO返回成功后,写入数据已到达磁盘阵列:读取的文件数据来自磁盘阵列,而不是应用服务器的缓存。此测试方法流程如图2所示(图示I0并发数为1,可改为多IO并发)读0到器蓝
LBAOAIO
较读收的数据与
人的款据
告铸设开
图2基于IO块一致性测试流程
YD/T2334-2011
6.2数据复制层测试
数据复制层应验证数据一致性的场景见表3。表3数据复制层验证数据一致性
正常场景
故障注入
一链路
6.3应用层测试
具体场景
设置同步远程镜像环境;
测试方法
2、两套同步设备各映射LUN给1台主机(假设分别为LUN1、LUN2):使用工具从LUN1写、从LUN2读。每一个IO保证唯一,且数据一致设置异步远程复制环境,设置限定带宽的复制网络环境,设定多个关联LUN复制设备软件、硬
件环境运行正常
(跨接多个逻辑设备或者物理磁盘,简称为主LUN):异步远程复制主LUN已预置数据,启动应用对主LUN进行IO读写:2
3、启动异步复制功能;
4、制造物理连接中断(即停止IO,目的是为了造成后面比对的快照的时间点数据基准相同),之后拍快照:下载标准就来标准下载网
5、待同步完成后,对远程从LUN拍快照,比较两个快照的数据一致性复制链路多次闪1、在正常场景中注入链路故障,即在远程同步的进行时刻,设置多次链路闪断:断
2、按正常场景中的方法进行测试应用层应验证数据一致性的场景见表4。表4应用层验证数据一致性
正常场景
故障注入
一链路
具体场景
文件系统
数据库
邮件系统
测试方法
1、在生产中心加载文件系统写入测试文件:2、停止文件写入(主要用于比对的数据基准一致)3、在灾备中心加载灾备设备和文件系统;4、在灾备中心将文件系统与生产中心文件系统进行比对5、如果进行RPO测试,请在第2项进行时不中断文件写入,并且标注每一文件的时间点
1、在生产中心启动数据库:
2、使用测试程序写入多条具备时间标志的数据库记录;3、在灾备中心加载灾备设备和数据库系统:4、打开灾备数据库,观察时间标志的序号一致性,观察灾备数据库的日志文件和数据文件的一致性;
注:部分技术可能会出现数据库的一致性打开障碍;记录序号可验证传输的一致性1、在生产中心生成测试用邮件:2、计算生产和灾备中心邮件的MD5值,比较两边计算出的MD5值复制链路多次1、在正常场景中注入链路故障,即在远程同步的进行时刻,设置多次链路闪断:闪断
2、按正常场景中的方法进行测试建筑321---标准查询下载网
附录A
(资料性附录)
”“验证数据一致性的工具
在灾备数据一致性测试中,可使用以下类型工具验证数据的一致性。A.1特征值比较工具
一对于快照,比较快照管理的散列表格。一对于文件,比较文件计算出的信息摘要。A.2操作系统命令及工具
操作系统中有些命令可进行文件比较,判断数据是否一致,如:YD/T2334-2011
cmp是GNU/Linux自带的一个文件比较命令,可用来比较一般文件、块设备等。fc是MicrosoftWindows自带的一个文件比较工具,可用来比较一般文件。灾备一致性测试中可使用以上工具比较原始文件与目标文件,以判断数据是否一致、同步。A.3.专用数据一致性测试工具
SDTester是一款专门进行数据一致性测试的工具。SDTester采用IO块比较的方式进行数据一致性比较,基本原理是:写入数据块到磁盘或文件,写操作完成后,从磁盘或文件读出写入的数据,比较写入和读出的数据块是否一致。可对存储设备及传输通道造成的数据丢失、不一致进行检测,可对同步镜像导致的数据丢失及同步延迟进行检测。A.4数据库一致性测试工具
有用于数据库的一致性测试工具,专用于比较源数据库和目标数据库的整体差异性。也可开发具备时间记录功能的数据库比对工具。A.5业务逻辑一致性测试工具
针对具体应用,开发相应测试工具,用于比较业务某时点源数据与备份数据的整体差异性。YD/T2334-2011
B.1测试流程定义
附录B
(资料性附录)
灾备数据一致性测试流程及基本要求应用本标准进行灾备数据一致性测试,流程可分为4个步骤:测试对象分析、测试工具准备、测试衡量和评估、测试报告。流程示意如图B.1所示。测试对象分析
测试工具准备
测试衡量与评估
测试报告
致性测试基本流程
其中:
测试对象分析
确定容灾级别,确定纵向的技术层次。通过确定在测试对象框架中的坐标位置,确定测试方法。测试工具准备
根据测试方法选择测试工具。按照工具使用方法,做好部署、配置。一测试衡量和评估
按照本标准定义的衡量标准记录测试结果。如有必要,可选择性完成PRO、RTO两个指标评估。测试报告
整理输出测试组网、测试工具、测试用例和测试结果,并在此基础上做出合理分析,得出科学的结论。
B.2测试基本要求
测试前,应提供测试用例,以准确记录每一次测试。测试用例至少包含数据一致性测试架构横向层次、组网、预置条件、测试步骤、预期结果。测试衡量依据本标准定义的指标,测试报告中其他新增指标应跟本标准指标区分填写,并予以注明。
建筑321---标准查询下载网
小提示:此标准内容仅展示完整标准里的部分截取内容,若需要完整标准请到上方自行免费下载完整标准文档。