本文件提出了工业大数据系统功能框架，规定了工业大数据系统功能要求。本文件适用于工业大数据系统的设计、开发、测试和应用。

ICS35.240.50
CCSL67
中华人民共和国国家标准
GB/T42130—2022
智能制造
工业大数据系统功能要求
Intelligent manufacturingIndustrial big data system functional requirement2022-12-30发布
国家市场监督管理总局
国家标准化管理委员会
2023-07-01实施
GB/T42130—2022
规范性引用文件
术语和定义
缩略语
工业大数据系统功能框架
功能要求
数据收集模块
实时计算模块
数据存储模块
数据处理模块
数据分析建模模块
数据显示模块
模型管理模块
知识管理模块
数据服务模块
数据治理模块·
运维管理模块
参考文献
GB/T42130—2022
本文件按照GB/T1.1一2020《标准化工作导则厂第1部分：标准化文件的结构和起章规则》的规定起草。
请注意本文件的某些内容可能涉及专利。本件的发布机构不承担识别专利的责任。本文件由中华人民共和国工业和信息化部提出并归口。本文件起草单位：中国电子技术标准化研究院、中国人民大学、阿里云计算有限公司、清华大学、美林数据技术股份有限公司、联想（北京）有限公司、浪潮软件科技有限公司、南京擎关科技有限公司、浪潮云信息技术股份公司、浪潮电子信息产业股份有限公司、中电长城网际系统应用有限公司、北京数码天方科技股份有限公司、星环信息科技（上海）股份有限公司、中冶赛迪工程技术股份有限公司、石化盈科信息技术有限责任公司、中国科学院沈阳自动化研究所、北京工业大学、西安电子科技大学、北京邮电大学、江苏赛西科技发展有限公司、深圳赛西信息技术有限公司、海澜智云科技有限公司、北京能科瑞元数字技术有限公司、徐州徐工挖掘机械有限公司本文件主要起草人：张群、尹卓、杜小勇、王建民、王晨、朱松、占怀曼、于辰涛、余笑寒、程宏斌、李晓燕、李、吴炎、仇卫文、王功明、黄先芝、沈玉龙、张星星、邓乔、周钢、杨辉华、朱道云、王为中、曹幼林、杨洪山、肖学文、张勇、徐国平、张振明、祖军、阴向阳、韩红桂、洋、华超杰、杨天吉、郑泽宇、方亚东、袁海飞。I
1范围
智能制造
工业大数据系统功能要求
本文件提出了工业大数据系统功能框架，规定了工业大数据系统功能要求。本文件适用于工业大数据系统的设计、开发、测试和应用。2规范性引用文件
GB/T42130—2022
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。
GB/T1988
信息交换用七位编码字符集
信息技术
GB/T13000信息技术通用多八位编码字符集（UCS）GB18030信息技术中文编码字符集GB/T38673一2020信息技术大数据大数据系统基本要求
术语和定义
下列术语和定义适用于本文件。3.1
工业大数据
industrialbigdata
在工业活动过程中产生的具有体量巨大、来源多样、生成极快、多变等特征并且难以用传统数据体系结构有效处理的包含大量数据集的数据注：一般分成三类，即企业信息化数据、工业物联网数据，以及外部跨界数据。其中，企业信息化和工业物联网中机器产生的海量时间序列数据是工业数据规模变大的主要来源。［来源：GB/T41778—2022.3.21]3.2
工业大数据系统
industrial big data system下载标准就来标准下载网
对工业大数据进行处理和应用的系统。4
缩略语
下列缩略语适用于本文件。
APP：应用软件（applicationsoftware）BOM：物料清单（billofmaterial)CRM：客户关系管理（customerrelationshipmanagement）ERP：企业资源计划（enterpriseresourceplanning）FMECA：故障模式、影响和危害性分析（failuremode，effectsandcriticalityanalysis）FTP：文件传输协议（filetransferprotocol）1
GB/T42130—2022
JDBC：Java数据库连接（javadatabaseconnectivity）JSON：JavaScript对象简谱（javaScriptobjectnotation）MES：制造执行系统（manufacturingexecutionsystem）ODBC：开放数据库连接（opendatabaseconnectivity）OLAP：联机分析处理（onlineanalyticalprocessing）PLM：产品生存周期管理（productlifecyclemanagement）SCM：供应链管理（supplychainmanagement）SCP：安全复制协议（securecopyprotocol)SNMP：简单网络管理协议（simplenetworkmanagementprotocol)SSH：安全外壳协议（secureshellprotocol)5工业大数据系统功能框架
工业大数据系统从功能分为数据收集模块、实时计算模块、数据存储模块、数据处理模块、数据分析建模模块、数据显示模块、模型管理模块、知识管理模块、数据服务模块、数据治理模块和运维管理模块等11个模块，见图1。
数据应用
数字化设计、智能化生产、网络化协同、智能化服务、个性化定制等数据治理模块
数据标准管理
元数据管理
数据生存周期
数据资源口录
数据质量管理
数据安全管理
数据分析建模
数据服务模块
数据显示
模型管理
数据处取模块
实计算模块
数据收集模块
数据测
知识管理
数据存储模块
产品数据、工业物联设备数据、生产经营及外部工联网数据等图1工业大数据系统功能框架
工业大数据系统中各模块功能如下：a)
数据收集模块：具有对不同来源的工业数据进行收集的功能；资源件理
运维管理模块
系统件理
GB/T42130—2022
实时计算模块：具有对来自工业产品、工业物联设备、生产经营及外部互联网等数据源的实时数据的格式转换、时频变换和聚合计算等处理功能；c）
数据存储模块：具有对各类型工业数据以不同方式进行存储的功能；数据处理模块：具有对来自工业设备、供应链上下游厂商和企业内部数据系统等数据源的抽d)
取、批量格式转换和数据整合分类等处理功能；e)
数据分析建模模块：具有数据分析和流数据分析等不同模式的工业数据分析功能；数据显示模块：具有分析结果的显示功能，以及工业模型的三维显示功能等；模型管理模块：具有对数据分析模型、物理设备/生产线/生产车间/整体生产厂及产品运维模型等模型进行管理的功能；
知识管理模块：具有对故障树、FMECA、规则集和知识图谱等工业知识数据进行管理的功能；数据服务模块：具有对数据和分析结果访问的功能；数据治理模块：具有工业数据标准管理、元数据管理、数据生存周期管理、数据资源目录管理、数据质量管理和数据安全管理等数据治理功能；运维管理模块：具有对工业大数据系统进行资源管理和系统管理的功能k）
功能要求
数据收集模块
数据收集模块功能要求如下：
应具有结构化数据收集功能，包括但不限于BOM数据、计划数据和生产数据等；a)
应具有高频时序数据收集功能，包括但不限于工业APP、接入终端、安全防护设备和工业应用b)
系统等所产生的数据；
应具有实时数据自动导人功能，包括但不限于本地导人和远程导入等；d)
应具有工业数据库实时/准实时收集功能；e)
应具有工业数据批量和增量收集功能：应具有对数据收集和获取过程的跟踪功能和记录功能；应具有对数据收集任务执行状态、执行结果和异常信息的日志记录功能；应具有基于数据收集任务的监控功能；应具有通过多种协议对数据进行收集的功能，包括但不限于Syslog、SNMP、JDBC、Netflow、SSH、FTP和SCP等协议；
宜具有对不同应用和设备所产生的不同格式的日志数据进行统一格式处理功能；k）
宜具有远程自动收集数据模式。6.2
实时计算模块
数据实时计算模块功能要求如下：应具有工业设备/传感器数据的实时时序数据接人功能；a)
应具有接人时序数据库、日志、MES系统、PLM和ERP等系统数据的功能；c）
应具有数据计算弹性扩展能力，使用一种或多种分布式流数据计算框架；d)
应具有用于数据实时计算的工业增强算法，包括但不限于幅度滤波、数值变化订阅、开关量取反、进制转换、线性滤波和一阶滞后滤波等算法；e）
应具有控制计算频率，过滤异常设备数据报点的功能，对数据计算进行流量控制；f)
应具有设备日志及其他文本型文件收集功能，包括处理GB/T1988、GB/T13000和GB18030等编码字符集；
GB/T42130—2022
宜具有计算数据转发到本地私有云、公有云和常见工业软件系统的功能；h)）
宜具有对实时计算所得到的本地数据缓存进行设置和管理的功能：宜具有针对多路实时数据的时截对准功能，根据网络时间设置、网络时延度量和时区设定等参数对乱序数据和多路数据进行时间对准；j)
宜具有一种或多种程序语言的插件开发和调用机制；k）
宜具有对实时数据处理任务显示编排以及任务执行并行调度的功能；1）
宜具有实时数据计算引擎进行系统升级、算法调优和编排以及协议转换的功能。3数据存储模块
数据存储模块功能要求如下：
应具有针对时序数据库等工业实时数据的存储功能；应具有针对关系数据库等结构化数据的存储功能；应具有对涉密数据和非涉密数据进行分区存储功能；应具有对不同类型数据进行分区存储功能；应具有对各类型数据进行存储扩容功能；应具有对各类型数据进行检索及查询功能；宜具有数据压缩与解压缩功能；h)
宜具有多副本存储功能；
宜具有根据数据活跃度和应用价值确定存储方式的能力；宜同时具有本地存储及云存储功能。6.4
数据处理模块
数据处理模块功能要求如下：
应具有与常见工业数据库系统和业务系统进行连接的功能，使用ODBC、JDBC和JSON等方a)
式访问系统数据；
应具有批处理计算功能；
应具有对不一致数据、脏数据和穴余数据的清洗、去噪和过滤的功能；应具有数据表二次加工，进行数据聚合、多表关联和建表的功能；应具有数据的定期同步、批量同步和增量同步等功能；应具有对ERP、CRM、MES、PLM和SCM等工业软件系统的数据提取功能；宜具有对数据处理任务显示的编排以及任务执行并行调度的功能；h）
宜具有对多种编程语言和脚本语言进行数据处理的功能；i)
宜具有用于数据图形化的数据流程编排功能，包括数据拆分、数据归并、格式转换、条件判断和多表关联等。
数据分析建模模块
数据分析建模模块功能要求如下所述。a)
应具有基于多源异构数据的跨域关联分析功能。b）具有以下数据统计功能：
应具有基本数值统计功能，如最大值、最小值、求和及总数等统计量；1）
应具有数据集中趋势统计功能，如平均数、中位数和众数等统计量；2）
宜具有数据离散程度统计功能，如极差、方差和标准差等统计量；4）
宜具有随机变量关系的统计功能，如协方差和相关系数等统计量。6.6
具有以下缓存数据分析功能：
应具有结构化查询语言的功能；2）
应具有分布式计算或并行计算等计算框架；3）
宜具有对海量工作任务的切分和分布式调度的功能。d）具有以下流数据分析功能：
应具有按时间切片进行批量处理的功能：应具有基于事件触发或者采样的流式处理功能；宜具有实时流上的数据统计功能；4）
宜具有流数据的排序功能；
宜具有关联处理多个数据流的功能5）
宜具有以下联机分析功能：
通过结构化查询语言对数据进行分布式的联机分析，如OLAP等；通过结构化查询语言对数据进行即席查询；利用显示中间件对数据分析结果进行显示；在分析过程中定义计算公式和参数配置；在分析过程中自动保存和回退；5）
在分析过程中对分析结果的保存和发布。宜具有可扩展的统计分析算法库。f）
宜具有针对专用业务模型的扩展与算法开发功能h)
宜具有以下机器学习和深度学习功能：1）
具有数据集管理功能，包括训练集管理、验证集管理和测试集管理等；2）
具有机器学习和深度学习模型导人和导出功能；3）
具有机器学习和深度学习算法。宜具有以下自然语言处理功能：i
具有对文本的数据标注功能；
具有语法分析和语义分析算法功能；具有语法分析和语义分析等模型的导入和导出功能；3）
具有集成第三方提供的语法分析和语义分析算法的功能j)
宜具有数据标签、画像分析功能。宜具有可扩展的数据挖掘算法库。宜具有开发专用业务模型所需要的机器学习和深度学习框架。GB/T42130—2022
应具有模型评估及相关管理功能，如回归评估、回归交叉验证、模型输出、模型读取和模型导m）
入等。
宜具有流程控制节点，如子流程和多分支等，增加建模过程的灵活性。n)
宜具有流程运行管控功能，如显示流程运行基本情况、洞察流程节点等。宜具有针对节点设置断点缓存功能，为用户进行节点调试提供支撑。p)
应具有流程参数和环境参数的配置功能，便于流程执行动态控制。q)
数据显示模块
数据显示模块功能要求如下：
应具有多种显示模板的集成功能，满足会议展览、业务监控、风险预警和设备状态分析等业务a)
场景的显示需求；
应具有绘制常规图表的功能，并能够对图表控件进行扩展，包括但不限于表格类、趋势类、分布5
GB/T42130—2022
类、占比类、流程类、指标类和地图类等图表；c)
应具有常规组件的扩展使用功能，并能够对组件进行扩展，包括但不限于折叠面板组件、标签组件、图片组件和文本组件等组件；应具有缩放数据图形化结果的功能；应具有常见工业设备/设施/产品的显示建模功能；应具有对多种类型数据的显示能力；应具有对不同终端和不同屏幕尺寸的自适应显示功能；应具有对数据源的维度和指标筛选功能；宜具有适配多种设备的显示功能；宜具有对于特定数据格式文件或特定数据集进行数据显示的功能：宜具有数据的三维显示功能；
宜具有报告制作功能；
m）宜具有将显示应用分享功能，包括但不限于成果导出和链接发布等。6.7模型管理模块
模型管理模块功能要求如下：
应具有基于数据的快速建模功能；a)
应具有工业模型与数据的关联关系配置功能：宜具有物理设备模型开发功能，包括设备加工的数字李生和设备运行状态的模型化显示等：宜具有整体生产厂/生产车间/生产线级的模型开发功能；d)
宜具有研发过程的模型开发功能，包括研发优化和研发知识资产化等；宜具有产品远程运维模型开发功能，包括产品问题追溯和故障预测分析等。3知识管理模块
知识管理模块功能要求如下：
应具有通过知识条自的分类整理、录入以及索引建模功能：b）
应具有对企业内部管理规章、行业规范和工艺流程等文档数据的关键词自动提取、分类标识和知识建模功能；
应具有对数据进行分类标识和知识建模的功能；应具有设备故障分析功能，包括模式分析、影响分析和危害分析等；应具有基于知识标识的图形化分类检索功能；应具有基于知识规则的检索和模式判决功能；应具有对知识进行分类检索和标识更新的功能；应具有图形化的推理过程参数调节和优化功能；宜具有对企业关键工业设备的工作机制进行自动化知识提取和建模的功能数据服务模块
数据服务模块功能要求如下：
应具有对原始数据及分析结果导出的功能；b)
应具有对单一数据源进行查询的功能，包括简单查询和组合查询；c)
应具有分布式数据查询与输出的功能；应具有面向工业业务对象的查询功能，如对设备传感器进行基于时间序列的实时查询及检索；应具有各类查询服务的操作日志管理功能：f)
应具有各类查询操作的监控功能；g）
应具有以下数据查询功能：
1）通过标准的数据库连接接口进行查询；2）建立数据索引，实现查询加速。h)）
宜具有基于统一逻辑数据模型的跨数据源异构工业大数据关联查询服务；i)
宜具有跨多种数据类型的统一数据访问接口；宜具有基于业务规则触发的数据推送服务；k）
宜具有查看各类接口调用日志的功能6.10
数据治理模块
数据标准管理
数据标准管理要求如下：
GB/T42130—2022
应具有数据元标准管理功能，包括对数据元的中文名、英文名、类型、长度、唯一性、是否必填、a)
國值规则和引用的枚举项等方面的管理；应具有枚举项标准管理功能，包括枚举项的字段定义和枚举项具体的码与值的定义；b)
应具有标准文件管理功能，包括文件的上传、预览和下载等；应具有标准版本管理功能，包括变更版本记录和标准发布流程审批等；应具有标准统一查询及检索功能；宜具有数据元标准在元数据使用中的贯标评估功能；宜具有数据标准监控与统计功能。元数据管理
元数据管理要求如下：
应具有元数据收集功能；
应具有元数据分类管理功能
宜具有指标元数据管理功能，包括指标定义、指标计算规则和指标计算等；应具有元数据查询功能；
应具有元数据权限控制功能；
应具有元数据血缘关系解析功能，包括表级及字段级的元数据血缘关系、影响关系和全链路关系等；
应具有元数据关系图形化显示功能；h)
应具有元数据操作记录日志管理功能，记录包括元数据的操作人和操作时间等信息；i
宜具有元数据创建与定义功能；宜具有元数据维护功能；
宜具有元数据版本管理功能；
宜具有元数据变更审核功能；
宜具有元数据血缘关系的维护功能。6.10.3
数据生存周期管理
数据生存周期管理要求如下：
应具有业务数据生存周期管理功能，包括设置数据的有效期和失效处理策略等；a）
应具有主数据生存周期管理功能，包括主数据新增、变更、启用、停用管理和编码管理等；7
GB/T42130—2022
应具有数据维护功能，包括对数据进行补录和导入等；应具有数据查看功能，包括对数据进行查询和导出等；应具有数据上传、预览和下载等功能；应具有数据权限管理功能；
应具有数据的密级管理功能；
宜具有数据存储位置管理功能，数据资源目录管理
数据资源目录管理要求如下：
应具有对各类数据进行统一编目的功能；b）
应具有编目自定义功能，包括对编目名称和编目层级的自定义；c)
应具有编目与元数据的关联功能：应具有基于统一目录的数据查询功能；应具有基于资源目录的数据公开与非公开设置功能：宜具有基于资源目录的数据权限申请功能；宜具有基于资源目录的数据订阅服务。数据质量管理
数据质量管理要求如下：
应具有对单数据集数据的完整性、一致性、准确性、唯一性和及时性等规则的自定义及质量评a)
估的功能，输出质量评估报告（包括评估总量、质量评分和合格率等）以及脏数据明细；b)
应具有数据质量权责管理功能；c)
应具有质量监控与预警功能；
应具有对数据库和消息通道中所存储的数据集进行数据质量校验的功能；应具有针对跨系统跨存储的数据核对和校验功能；应具有数据集更新后的增量数据质量校验功能：宜具有数据质量整改功能；
宜具有对收集、存储、处理和服务等数据全生存周期过程进行质量监控的功能。6.10.6
数据安全管理
数据安全管理要求如下：
应具有对数据进行加密的功能；b)
应具有对数据传输过程中进行加密的功能；c)
应具有数据的密级管理功能；
应具有适用于工业数据的敏感数据自动发掘功能：应具有适用于工业数据的脱敏功能；应具有针对数据权限的申请和审批功能；应具有对数据日志进行记录和审查的功能；应具有对敏感数据进行监控及预警的功能：应具有数据访问控制的授权和鉴别功能；应具有对内部网络数据交换进行请求审批、行为监控与内容审计的功能；应具有对数据服务进行授权与控制的功能。
小提示：此标准内容仅展示完整标准里的部分截取内容，若需要完整标准请到上方自行免费下载完整标准文档。