--为生物特征识别系统的运行测试提供指导；　　 --规定了运行系统的性能指标；　　 --细化了可能由运行系统保留的数据，以支持性能监控；　　 --规定了测试方法、数据记录和运行评价结果报告的要求。　　 本文件没有： --覆盖实验室运行系统的测试； --解决漏洞测试。 　　

ICS.35.240.15
cCs L7i
中华人民共和国国家标准書
GB/T29268.6—2022/ISO/IEC19795-6:2012信息技术
生物特征识别性能测试和报告
第6部分：运行评价的测试方法　Information technologyBiometric performance testing and reporting-Part 6:Testing methodologies for operational evaluation(ISO/IEC19795-6:2012,IDT)
2022-10-12发布
国家市场监督管理总局
国家标准化管理委员会
2023-05-01实施
GB/T29268.6—2022/ISO/IEC19795-6:2012目
1范围
2规范性引用文件
3术语和定义
4符合性
5运行评价综述
运行评价目标
运行性能指标
5.3运行评价方法
确定运行性能
在评估运行系统中使用的技术和场景评价方法6运行评价
目的和范围
应用特性
6.3测试方案
性能测量
6.5报告
6.6记录保存
附录A（资料性）非强制性性能指标和报告附录B（资料性）运行测试中的子事务事件附录C（资料性）运行测试规范示例.附录D（资料性）确定测试规模的方法，附录E（资料性）运行系统监督
附录F（资料性)操作熟练度测试附录G（资料性）运行测试报告大纲示例.参考文献
....21
GB/T29268.6—2022/ISO/IEC19795-6:2012前言
本文件按照GB/T1.1一2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。
本文件是GB/T29268《信息技术生物特征识别性能测试和报告》的第6部分。GB/T29268已经发布了以下部分：
第1部分：原则与框架；
一一第2部分：技术与场景评价的测试方法；一第3部分：模态特定性测试；
一第4部分：互操作性性能测试；一第5部分：访问控制场景与分级机制；一第6部分：运行评价的测试方法。本文件等同采用ISO/IEC19795-6:2012《信息技术生物特征识别性能测试和报告第6部分：运行评价的测试方法》。
本文件与ISO/IEC19795-6:2012相比做了下述允许的结构调整：一第2章对应ISO/IEC19794-6:2012中的第3章；一第3章对应ISO/IEC19794-6:2012中的第4章；一第4章对应ISO/IEC19794-6:2012中的第2章。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任本文件由全国信息技术标准化技术委员会(SAC/TC28)提出并归口。本文件起草单位：北京中科虹霸科技有限公司、中国电子技术标准化研究院、中国科学院自动化研究所、厦门市美亚柏科信息股份有限公司、深圳市迈腾电子有限公司、人力资源和社会保障部信息中心、北京邮电大学、蚂蚁科技集团股份有限公司、天津中科虹星科技有限公司、深圳职业技术学院、北京曙光易通技术有限公司、上海市计量测试技术研究院、深圳市铭图创新科技有限公司、天复（东莞)标准技术有限公司、长春鸿达光电子与生物统计识别技术有限公司、广州广电运通金融电子股份有限公司、深圳华大法医科技有限公司、深圳市优笔触控科技有限公司、深圳市华曦达科技股份有限公司。本文件主要起草人：何召锋、王文峰、宋继伟、张慧、钟陈、刘倩颖、校利虎、李星光、黄伟、王海滨、苗迪、雷震、王云龙、王智飞、韦敏钰、张曼、林冠辰、李海青、杨金锋、张大朋、孙荣荣、王成、李清顺、王振鑫、李雪妍、张玮、高升杰、樊锋涛、李波。I
GB/T29268.62022/ISO/IEC19795-6:2012引言
GB/T29268《信息技术生物特征识别性能测试和报告》拟由七个部分构成。第1部分：原则与框架。目的在于规定生物特征识别系统性能测试和报告的通用原则与框架。一一第2部分：技术与场景评价的测试方法。目的在于规定生物特征识别性能测试中技术和场景的评价方法。
一一第3部分：模态特定性测试。目的在于规定生物特征识别系统中模态间特定性差异的性能测试方法。
一一第4部分：互操作性性能测试。目的在于规定生物特征识别格式相关联的互操作性的测试方法。
一一第5部分：访问控制场景与分级机制。目的在于规定通用的生物特征识别系统中访问控制场景的测试方法及性能级别的分级机制的量化表述。第6部分：运行评价的测试方法。目的在于规定生物特征识别系统中运行测试的原则及运行系统的性能指标。
第7部分：卡上生物特征识别比对算法测试。目的在于规定卡上生物特征识别比对算法的测试方法。
生物特征识别性能测试涵盖技术测试、场景测试、运行测试等三种类型。技术测试是指基于生物特征样本数据库的生物特征识别系统性能测试；场景测试是指按照既定测试人员分布组建测试对象，模拟真实应用场景进行测试，考虑人员在注册或识别事务中出现的生物特征样本获取失败、注册失败等因素，例如访问控制场景。运行测试是指由实际用户组成测试对象在实际应用场景中进行测试。对于测试人员，一般来说，正确的标注数据是未知的。运行评价与技术或场景评价的不同之处在于，对象基础、环境和系统设计不再受限于可重复测试的目的，而是根据操作使用而变化。不受控变量的示例包括主体身份声明的合法性，来自天气或照明的环境影响，或不同人员的使用系统的可变性。GB/T29268分别从上述三种测试类型对生物特征识别性能测试和报告进行了规范，并规定了原则与框架、模态特定性测试及卡上算法评测，本文件规定了生物特征识别性能运行评价的测试方法，其总体目标是在一段时间内测量或监测生物特征识别系统的运行水平。运行测试的测试项可能包括：一一确定性能是否符合特定应用指定要求或供应商要求：确定是否需要调整或配置系统以提高性能一预测对象、位置或设备数量增加后的性能变化：获取关于目标人群和环境参数影响系统性能的信息；一从试点实施中获取性能数据；一获取性能数据以对将来的系统进行基准测试。II
1范围
本文件：
GB/T29268.6—2022/ISO/IEC19795-6:2012信息技术生物特征识别性能测试和报告第6部分：运行评价的测试方法
为生物特征识别系统的运行测试提供指导；规定了运行系统的性能指标；
细化了可能由运行系统保留的数据，以支持性能监控：一规定了测试方法、数据记录和运行评价结果报告的要求。注：一些生物特征识别运行系统执行单一生物特征识别功能。例如，在生物特征识别护照发布的初始阶段，运行系统可能只执行生物特征注册。此类系统的运行评价属于本文件范围内。本文件没有：
一覆盖实验室运行系统的测试；一解决漏洞测试。
2规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单)适用于本文件。
ISO/IEC19795-1信息技术生物特征识别性能测试和报告第1部分：原则与框架(Information technologyBiometric performance testing and reportingPart 1:Principles and framework)
注：GB/T29268.1—2012信息技术生物特征识别性能测试和报告第1部分：原则与框架(ISO/IEC19795-1:2006,IDT)
3术语和定义
ISO/IEC19795-1界定的以及下列术语和定义适用于本文件。3.1
:acclimatization
环境适应性
在一个或多个事务中，一个生物特征特性发生的改变，可能影响系统处理样本的能力。注：环境适应性主要与受试者对环境影响(如皮肤温度)的时间调整有关。3.2
辅助人员
attendant
直接与生物特征采集主体交互的生物特征系统运营者的代理人。3.3
生物特征采集主体
biometriccapturesubject
作为生物特征采集过程的主体的个体。1
GB/T 29268.6—2022/ISO/IEC19795-6:20123.4
生物特征数据主体biometricdatasubject其个性化的生物特征数据已储存在生物特征系统的个体。3.5
生物特征探针biometricprobe
输入到算法的、与生物特征参考进行生物特征比对的生物特征样本或生物特征项。3.6
生物特征识别操作员biometricoperationalpersonnel除生物特征采集主体外，在生物特征系统操作中承担主要工作的个体。注：生物特征识别操作员包括生物特征识别系统管理员、辅助人员和审查员。3.7
生物特征识别系统管理员biometricsystemadministrator在生物特征系统的管理中，执行相关策略和规程的人。3.8
生物特征识别系统运营者biometric systemoperator在生物特征系统的运行中，负责定义相关策略和规程的机构3.9
生物特征参考biometricreference用于比对的、属于生物特征数据主体的一个或多个已存储的生物特征样本、生物特征模板或生物特征识别模型。此内容来自标准下载网
比对尝试限制comparison attemptlimit比对事务中尝试的最大允许数量或持续时间。3.11
注册尝试限制enrolment attemptlimit注册事务中尝试的最大允许数量或持续时间。3.12
熟练度habituation
对象对生物特征识别的设备、系统和应用的熟悉程度。注：用户熟练度水平可能会影响生物特征样本呈现和采集设备。3.13
对象基础集
subjectbase
在生物特征识别系统的运行使用中，有意使用生物特征数据进行注册和比对的人员集合，3.14
系统接受率system acceptance rate运行系统的识别事务中主体被识别的比例。注1：虽然接受假冒者是不正确的识别，但它仍然可以算作系统接受注2：系统接受率=1一系统拒绝率。3.15
系统辨识率
systemidentificationrate
运行系统的辨识事务中一个或多个主体被辨识的比例。3.16
系统拒绝率systemrejectionrate运行系统的识别事务中主体未被识别的比例。2
GB/T29268.6—2022/ISO/IEC19795-6:2012注：系统拒绝率与错误拒绝率不同之处在于，除了错误拒绝之外，还包括任何被拒绝的假冒事务和任何不正当的真实事务。
测试组成员testcrewmember
在运行系统的用途中，选定作为评价的一部分受到控制或监控的生物特征数据主体注：在运行评价中，测试对象可以是运行系统的主体，或者是使用该系统专门用于评价目的的测试组成员，4符合性
如果运行评价符合本文件第6章的要求计划、执行和报告，则该运行评价符合本文件。5运行评价综述
5.1运行评价目标
运行测试的总体目标是测量或监控生物特征识别系统运行中的性能。运行测试的子目标可能包括：
确定性能是否符合特定应用指定要求或供应者提出的要求；一确定是否需要调整或配置系统以提高性能；一预测主体、位置或设备数量增加后的性能；一获取会影响系统性能的目标群体和环境参数的信息；一一从试点实施中获取性能数据；一获取性能数据作为未来系统进行测试基准。运行评价考虑到人员表现、设备和算法性能以及环境条件。因此，除了物理科学之外，运行测试还包括社会科学的方面，而技术测试则不包括在内。一般来说，由于人员、设备和环境中不受控制的条件，运行时的性能将随时间而变化。例如，如果大多数主体在开始操作时注册，几乎没有新的注册，系统的性能会随着主体的习惯而改善，或者随着长时间之后主体的生物特征特性与注册参考差距越来越大而降低。
测试中观测性能可能取决于操作人员，如辅助人员、生物特征识别测试员、生物特征识别主体。从定义范围到报告的所有方面，应考虑到基于操作人员的因素，相关人为因素信息见参考文献[3]和[5]。5.2运行性能指标
运行测试的识别指标与技术和场景测试不同。在技术和场景测试中，可以测量错误接受率和错误拒绝率，因为对于测试人员，正确的标注数据是已知的。在实际运行环境中，一般来说，正确的标注数据是未知的，运行测试将测量系统接受率和系统拒绝率。从系统接受和拒绝的数量确定错误接受率和错误拒绝率将需要额外的观察或控制，来确定身份声明和设备交互的合法性。类似地，在识别系统中，从系统识别的数量确定识别错误率也需要额外的观察或控制。
技术和场景测试中的性能计算通常排除主体没有提供理想呈现或没有正确遵循指示的拒绝情况。运行测试在测量系统拒绝率时将包括这种拒绝情况。5.3运行评价方法
运行性能评价是基于通过运行系统采集的数据。可以在“评价模式”中将系统配置为在系统正常使用期间收集附加数据。
GB/T 29268.6—2022/ISO/IEC19795-6:2012运行性能评价可能基于不同的测试对象组：用非受控的一组测试对象集合收集的数据（即一组反映运行系统的对象基础的测试对象）用被定义为“测试组成员”的一组受控测试对象集合收集的数据（即一组与反应运行系统的对象基础分开考虑和控制的测试对象）。如果测试组在使用系统时受到特别指示，则评价结果可能与操作中得到的结果不同。由于人员、设备和环境的不可控制的变化，运行性能随时间快速变化。这些条件下的性能变化不能预测。5.4确定运行性能
性能估计值可以通过至少三种方式从运行数据中确定：通过直接观察得到吞吐率，接受率和/或拒绝率；基于运行期间记录的比对分数和时间度量，离线计算吞吐率、接受率和拒绝率；一基于测试期间获取的测试样本和存储参考数据的采样，离线计算比对分数、接受率和拒绝率。每种方法都可能产生不同的测量方法。此外，每种方法对错误计算都有不同的风险。例如，仅记录访问控制系统的直接观察并不揭示拒绝是由于生物特征识别错误还是门禁系统操作错误；仅记录比对分数将不会显示参考或探针已被存储或传输不正确的情况。5.5在评估运行系统中使用的技术和场景评价方法除了基于系统的实际运行使用的测试外，场景和技术评价也可以在确定运行性能的某些方面发挥决策作用。场景和技术评价方法见参考文献[1]。仅在实时运行中测试可能无法测量运行性能的所有方面。根据评价的目的，某些性能测量方法可能只通过特定测试来确定。为了得出统计学上的有效结论，实际运行中的测试并不意味着保证系统在特定条件下运行，或者以足够的频率运行。此外，在运行过程中进行测试时，将这些影响性能的其他操作因素隔离开来可能是不可行的。示例：环境因素如阳光或湿度等会影响传感器的性能。除非系统经过测试以监测特定环境中的性能，否则这些因素对运行性能的影响是无法量化的。6运行评价
6.1目的和范围
6.1.1一般性
在制定测试方案之前，需要确定测试的目的和范围。应明确下列要素：一自包含系统准则；
——系统规格；
一一注册和比对功能评价：
一一感兴趣的性能测试指标。
6.1.2自包含准则系统
实验者应将生物特征识别系统纳入运行测试准则。由于生物特征识别系统先前部署、生物特征识别系统运营者的选择，或者评价实体的选择的原因，生物特征识别系统可能将其包括在运行测试中。注：测试多个独立系统可能会损害测试操作的现实性。但是，如果要做出有意义的比较，必须控制测试的一些要素。可控制一些要素避免损坏测试的操作价值。6.1.3系统规范
GB/T29268.6—2022/ISO/IEC19795-6:2012被测系统的详细资料应尽可能完整。应报告以下要素：采集设备：适用的制造商、型号、版本和固件版本；如果采集设备的核心采集组件集成在第三方设备中，例如在将指纹传感器并入外围设备的情况下，则应报告制造商、核心采购组件型号和外围设备组件的版本和固件；
生物特征识别算法：提供者、版本和修改以及所有现场变量数值或设置的值，生物特征识别算法包括质量评价、特征提取、分类、比对和融合算法，这些可能由不同的供应商提供；如果运行系统包含生物特征识别应用程序，例如逻辑访问接口：应用程序的提供者、标题、版本和创建时间：
通过个人计算机，掌上电脑或其他计算设备测试的系统：硬件平台、操作系统、处理器、存储器、制造商和计算设备的型号；
生物特征数据采集，处理和存储组件之间的系统架构和数据传输的细节；系统组件之间的数据流；
系统配置（例如，在生物特征参考更新的情况下，系统是否为所有后续比较尝试使用单个生物特征参考，或者是在每次成功尝试之后更新生物特征参考）。6.1.4生物特征识别功能
在已部署系统的运行测试中，评价生物特征识别功能(即注册，验证或辨识)应为部署系统的功能。在为运行测试而部署系统的运行测试中，实验者可以确定实施和评价所需的比较功能。应报告选择的运行测试评价的比较功能部件的理由。注：运行测试可以包含辨识和验证功能，例如数据可用来执行针对监视列表的搜索，并针对现有注册进行验证。6.1.5性能指标
运行测试相关的性能指标包括：注册和识别事务的吞吐量：
注册失败率；
一系统拒绝率(在验证系统中)；一系统辨识率(在辨识系统中）；一错误接受率和错误拒绝率(在验证系统中评价建立在真实基础上)；一一错误接受辨识率和错误拒绝辨识率(在辨识系统中评价建立在真实基础上）。6.4规定了确定和报告这些性能指标的考虑因素。此外，实验者应通过运行测试产生的任何具体性能测试结果做出决策。附录A提供了潜在的性能指标列表。6.2应用特性
6.2.1 —般性
测试数据采集计划，应考虑应用特性。应明确以下要素：—操作内容；
引导和指示
—一努力水平和决策策略；
一一使用多个实例
环境；
GB/T29268.6—2022/ISO/IEC 19795-6:2012一部署因素：
一环境适应性；
一熟练度。
6.2.2操作内容
应当确定和报告正在测试的应用的操作内容。操作内容的描述应包括但不限于以下内容。将生物特征识别系统与诸如逻辑或物理访问系统之类的外部系统集成。生物特征识别系统正在取代或补充的认证方法和系统，如果适用。一正在评价的现场应用类别，例如：·注册；
●物理访问控制；
●逻辑访问控制；
●监视或筛查；
·辨识
●检查员协助辨识。
6.2.3引导和指示
虽然运行测试对象不应陪同测试支持人员与生物特征识别系统交互（如场景评价中的情况），但测试支持人员仍可能会给出使用技术的方法提示。应报告有关如何使用生物特征识别系统的指示，以及给予测试对象操作测试的信息。测试人员应在每个被测试系统的注册和识别过程定义以下要素：有人/无人参与操作；
一一在交互之前由辅助人员提供给测试对象的信息；一生物特征识别系统在交互过程中，测试内容提供的反馈方式和范围：一交互期间由辅助人员提供的反馈的类型和范围；使用脚本、指令、提示工具或其他机制告知测试内容和系统交互的最佳方法；一修正和记录与设备的错误交互测试对象外观和穿着的限制：
操作使用中指导和反馈之间的差异。注：对于在测试之前系统尚未使用的运行测试（即试用部署），辅助人员与测试对象交互的次数应接近生物识别系统供应商或管理人员提供的典型部署时提供的交互次数。6.2.4努力等级和决策策略
努力等级与注册、识别以及测试系统的决策策略相关，这些均取决于运行环境。在大多数情况下系统具有基于操作内容的特殊配置，并将执行匹配/不匹配/注册或其他决策，使得受试者在运行环境中的后续活动取决于运行结果。
对于注册范围的测试，实验者应在可行的范围内确定并报告系统的注册尝试限制和决策策略。这些限制和策略可能包括以下内容。a）要求或允许注册的最小和最大尝试次数，见附录B。系统可以允许在一次尝试之后注册，或者可能需要多次尝试。
b）在给定的注册尝试或事务中允许或需要注册的最短和最长持续时间。系统可以在固定的持续时间之后终止注册事务。这可能是由于事件1）无法采集或获取足够质量或区别特征的生物特征样本，或事件2)无法感测任何生物特征识别。6
GB/T29268.6—2022/ISO/IEC19795-6:2012注：事件1)意味着生物特征识别系统已经获取和处理数据，但发现它缺之信息；事件2)意味着数据未被获取和/或处理。
注册程序是否包括立即使用注册信息进行验证尝试，以确认注册成功，并帮助主体熟悉操作。d）注册时应用的质量评价标准或阈值。识别测试，实验者应在可行的范围内确定并报告系统的比对尝试限制和决策策略。这些限制和策略可能包括以下内容。
一每次比对事务所需或允许的最小和最大次数。系统可以在一次尝试后作出决策，或者可能需要多次尝试。
在给定的比对尝试或事务中允许或要求匹配的最小和最大持续时间。系统可以在固定持续时间之后终止比对事务。对于没有超时的系统，可以为测试建立一个时间限制。比对时应用的质量评价标准和阈值。6.2.5多实例系统
当知道系统利用同一测试对象的多个实例进行注册或识别时，应进行报告。在多实例、多表达或多尝试系统中，融合技术可以用于组合来自两个或更多个实例、表达和/或尝试的信息。应报告有效的融合技术及其应用方法。
注：在运行系统中，主体的一次尝试被拒绝后，系统会自动利用来自相同主体的相同模态的不同实例进行另一次尝试。例如，系统可以利用左手食指进行比对，如果左手食指失败则提示放置右手食指。这通常适用于诸如指纹和虹膜之类的模态，这些模态中大多数生物特征采集主体可以利用一个以上的实例进行注册和识别。6.2.6环境
环境条件可以在运行性能等级上发挥重要作用。应考虑所有相关环境条件。GB/T29268.3一2012给出了不同模态和运行设置要考虑的物理环境条件。这些包括但不限于：环境温度；
气压；
一-相对湿度
一外界因素(如雨、雾、雪、冰電等);一一照明（包括类型、方向、强度）；一环境(声学)噪音。
应尽最大程度报告运行系统受控的环境条件。应避免引入任何通常不包含在已部署的应用程序中的环境条件控制。一旦引入，则应记录这种控制。监测和报告这些不受控制的情况。示例1：如果运行系统利用专用照明进行面部识别，则将报告照明系统的细节。示例2：如果温度超过30℃未收集运行性能数据，在测试报告中要记录此类情况。同样地，如果在这样的天气里使用了便携式空调机组，也要在报告中记录。对于监测和接收测试，适当记录相关的环境数据（如环境温度、相对湿度、降水、云量、照明等级）。最全面和最有信息量的数据可以在生物特征识别设备事务的单个位置（如在行人通道N处）以及在测试事务的特定时间收集。然而，这种方法可能是复杂、困难以及昂贵的。替代方法可以在每个测试站点的代表性位置（或一组位置)收集包括日期时间戳等环境数据，并且将离线数据与个体事务事件相关联。6.2.7部署因素
应考虑部署因素对系统可用性的影响。这些因素可能包括社会安全、人体健康和人身安全的限制（例如，在玻璃屏幕的不同侧面设置设备和辅助人员，或紧固设备，使其不能移动）。实验者应报告运行环境的实际布局，包括但不限于以下内容：一专用于测试执行的尺寸面积；7
小提示：此标准内容仅展示完整标准里的部分截取内容，若需要完整标准请到上方自行免费下载完整标准文档。