GY/T 339.2-2020
基本信息
标准号： GY/T 339.2-2020
中文名称：有线电视网络大数据技术规范 第2部分:平台要求
标准类别：广播电影电视行业标准(GY)
标准状态：现行
出版语种：简体中文
下载格式：.zip .pdf
下载大小：647189
标准分类号
关联标准
出版信息
相关单位信息
标准简介
GY/T 339.2-2020.Technical specification for CATV's big data-Part 2: Platform's requirements.
GY/T 339.2规定了有线电视网络大数据平台的结构和技术要求，还规定了对有线电视网络大数据采集、接入、存储、处理、分析、展示和开放服务的技术要求。
GY/T 339.2适用于有线电视网络数据的采集、接入、存储、处理、分析、展示和开放服务，还适用于指导有线电视网络运营机构开展大数据平台的规划设计、实施、升级改造和运行维护。
2规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款.其中,注8期的引用文件，仅该日期对应的版本适用于本文件:不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。
GB/T 2239- -2019信息安全技术网络安全等级保护基 本要求
GB/T 35295- -2017信息技术大数据术语
GB/T 35589- -2017信息技术大数据技术参考 模型
GB 50174- -2017数据中心设计规范
GY/T337--2020广播电视网络安全等级保护定级指南
GD/J 075-2018电视收视 数据交换接口规范
3术语和定义
GB/T 35295- 2017界定的以及下列术语和定义适用于本文件。
3.1大数据big data .具有体量巨大、来源多样、生成极快、多变等特征并且难以用传统数据体系结构有效处理的包含大量数据集的数据。[来源: GB/T 35295- -2017, 定义2. 1.1]大数据参考体系结构big data reference architecture-种用作工具以便于对大数据内在的要求、设计结构和运行进行开放性探讨的高层概念模型。[来源: GB/T 35295- -2017, 定义2. 1.3]
GY/T 339.2规定了有线电视网络大数据平台的结构和技术要求，还规定了对有线电视网络大数据采集、接入、存储、处理、分析、展示和开放服务的技术要求。
GY/T 339.2适用于有线电视网络数据的采集、接入、存储、处理、分析、展示和开放服务，还适用于指导有线电视网络运营机构开展大数据平台的规划设计、实施、升级改造和运行维护。
2规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款.其中,注8期的引用文件，仅该日期对应的版本适用于本文件:不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。
GB/T 2239- -2019信息安全技术网络安全等级保护基 本要求
GB/T 35295- -2017信息技术大数据术语
GB/T 35589- -2017信息技术大数据技术参考 模型
GB 50174- -2017数据中心设计规范
GY/T337--2020广播电视网络安全等级保护定级指南
GD/J 075-2018电视收视 数据交换接口规范
3术语和定义
GB/T 35295- 2017界定的以及下列术语和定义适用于本文件。
3.1大数据big data .具有体量巨大、来源多样、生成极快、多变等特征并且难以用传统数据体系结构有效处理的包含大量数据集的数据。[来源: GB/T 35295- -2017, 定义2. 1.1]大数据参考体系结构big data reference architecture-种用作工具以便于对大数据内在的要求、设计结构和运行进行开放性探讨的高层概念模型。[来源: GB/T 35295- -2017, 定义2. 1.3]
标准图片预览
标准内容
中华人民共和国广播电视和网络视听行业标准GY/T339.2—2020
有线电视网络大数据技术规范
第2部分：平台要求
Technical specificationforCATV'sbigdata-Part2:Platform'srequirements2020-12-22发布
国家广播电视总局
2020-12-22实施
规范性引用文件
术语和定义
缩略语
数据核心子系统技术要求
数据采集接入
数据存储
数据处理
数据分析，
数据展示，
数据开放
资源管理
基础资源子系统技术要求
安全运行子系统技术要求
运行维护子系统技术要求
9.2运维能力和支撑保障
9.3运维操作
运维过程管理
附录A（资料性）
参考文献
大数据参考体系架构
GY/T339.2—2020
GY/T339.2—2020
本文件按照GB/T1.1一2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。
本文件为GY/T339《有线电视网络大数据技术规范》的第2部分。GY/T339已经发布了以下部分一第1部分：通用要求：
一第2部分：平台要求：
一第3部分：数据规则。
请注意本文件的某些内容可能涉及专利。本文件发布机构不承担识别这些专利的责任。本文件由全国广播电影电视标准化技术委员会（SAC/TC239）归口。本文件起草单位：国家广播电视总局广播电视规划院、中国电子技术标准化研究院、广州市诚毅科技软件开发有限公司、浩鲸云计算科技股份有限公司、北京东方国信科技股份有限公司、华数数字电视传媒集团有限公司、国家广播电视总局广播电视科学研究院、重庆有线电视网络股份有限公司、中国广播电视网络有限公司、北京歌华有线电视网络股份有限公司、广东省广播电视网络股份有限公司、湖北省广播电视信息网络股份有限公司、河北广电无线传媒有限公司、深圳市天威视讯股份有限公司、陕西广电网络传媒（集团）股份有限公司、陕西广信新媒体有限责任公司、贵州省广播电视信息网络股份有限公司、江苏省广电有线信息网络股份有限公司、北京邮电大学、北京海致星图科技有限公司、广西广电大数据科技有限公司、新疆广电网络股份有限公司。本文件主要起草人：余英、韦安明、吴钟乐、张群、刘智、王帅、刘敬玉、唐志燕、李庆国、聂明杰、邓向冬、曹志、王倩男、赵明、赵士原、欧阳峰、杨旭、沈文、唐永壮、董彬、刘军霞、胡其权、刘彦鹏、柳涛、杨晨、王洪波、王飞、梅杨、唐臭、陈昕、尹卓、曹燕明、诸葛海标、胡宸、张玮、刘晓敏、王欣然、曹阳、李海波、瀚宏、付晶、赵良福、苟明宇、杨敬一、王季友、刘艺兰、张城瑞、周传淆、傅力军、王瑶、范斐、孙嘉阳、张琦、陶宛昌、张君、王士刚、杨娟、郑璐、林昕、李文、涂均、吕燕、刘波、彭宇涛、杨斌。II
GY/T339.2—2020
GY/T339《有线电视网络大数据技术规范》规定了有线电视网络大数据技术规范的通用要求，包括大数据系统和数据服务的功能、性能、接口、安全等方面的要求，适用于有线电视网络大数据系统和业务的规划、设计、实施、验收、升级改造和运行维护。GY/T339共有三个部分。各部分简述如下。一第1部分：通用要求。规定了有线电视网络大数据系统和数据服务的功能、性能、接口、安全等方面的要求。
一一第2部分：平台要求。规定了有线电视网络大数据平台的结构和技术要求，一一第3部分：数据规则。规定了有线电视网络大数据的数据源、数据内容和数据表达规则。1范围
GY/T339.2—2020
有线电视网络大数据技术规范第2部分：平台要求本文件规定了有线电视网络大数据平台的结构和技术要求，还规定了对有线电视网络大数据采集接入、存储、处理、分析、展示和开放服务的技术要求。本文件适用于有线电视网络数据的采集、接入、存储、处理、分析、展示和开放服务，还适用于指导有线电视网络运营机构开展大数据平台的规划设计、实施、升级改造和运行维护。规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件：不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。
GB/T22239—2019
信息安全技术网络安全等级保护基本要求GB/T35295—2017信息技术大数据术语GB/T35589—2017信息技术大数据技术参考模型GB50174—2017
数据中心设计规范
GY/T337—2020
GD/T075—2018
术语和定义
广播电视网络安全等级保护定级指南电视收视数据交换接口规范
GB/T35295一2017界定的以及下列术语和定义适用于本文件。3.1
大数据big data
具有体量巨大、来源多样、生成极快、多变等特征并且难以用传统数据体系结构有效处理的包含大量数据集的数据。
L来源：GB/T35295—2017，定义2.1.13.2
大数据参考体系结构bigdatareferencearchitecture一种用作工具以便于对大数据内在的要求、设计结构和运行进行开放性探讨的高层概念模型。［来源：GB/T35295—2017，定义2.1.3]3.3
数据中心datacenter
GY/T339.2—2020
由计算机场站（机房）、机房基础设施、信息系统硬件（物理和虚拟资源）、信息系统软件和信息资源（数据）等组成的实体。
大数据平台bigdataplatform
以大数据参考体系结构为基础的数据中心系统，在本文件中，指集成了大数据采集接入、存储、处理、分析、共享，以及各类配套功能组件及基础设施的数据处理系统。3.5
数据采集终端data collection terminal一种部署在数据生成节点的、实现数据规范收集汇总和处理的软件组件或实体设备。3.6
大数据系统bigdatasystem
以大数据参考体系结构为基础的数据处理系统，在本文件中，指由大数据平台、数据源、数据采集终端、网关，以及相关辅助等功能组件构成的数据处理系统。［来源：GB/T35295—2017，定义2.1.14]。3.7
元数据
metadata
一种带有数据类型、编码、名称、业务描述等属性的，可用于描述数据产品特征的数据单元。3.8
框架framework
-种由数据的采集、接入、存储、处理、分析、服务等功能组件构成的集合。4缩略语
下列缩略语适用于本文件。
API应用程序编程接口（ApplicationProgrammingInterface）BSs业务支撑系统（BusinessSupportSystem）CEP
复杂事件处理（ComplexEventProcessing）CPU中央处理器（CentralProcessingUnit）GPU图形处理器（GraphicProcessingUnit）硬盘驱动器（HardDiskDrive）
输入输出（InputandOutput）
MPI消息传递接口（Message-Passing-Interface）MSS管理支撑系统（ManagementSupportSystem）NoSQL非关系型的数据库（NotonlySQL）OLAP在线分析处理（On-LineAnalysisProcessing）OSS运营支撑系统（OperationSupportSystem）RAID独立磁盘穴余阵列（RedundantArraysofIndependentDrives）SQL结构化查询语言（StructuredQueryLanguage）2
SSD固态盘（SolidStateDisk）
XML可扩展标记语言（ExtensibleMarkupLanguage）5概述
GY/T339.2--2020
大数据平台实现对运营机构经营和系统运行维护过程中产生的各类大数据的采集、接入、处理、存储、分析、展示、共享和管理，为大数据消费者提供数据和服务，以及为运营机构间的数据交换提供统一接口。图1采用GB/T35589一2017中关于大数据参考体系架构的定义，采用角色、活动、组件等逻辑构件描述有线电视网络大数据平台（以下简称大数据平台或平台）的组成和业务逻辑。关于大数据参考体系架构，以及角色、活动、组件的描述见附录A。户服务
有线电视网络大致据源
数据上报
BSS域数据
oss城数据
MSS城数据
平台侧教据
元数据
格式转换
直准营销
列式数据库
图数据库
关系数据库
文件系统
输入API
批量采集
机房设施
精细服务
南确管理
精益网运
数据展示
数据开放
服务能力展现/申请/运营
输出API
实时采集
计算资源
采集展示
采集监控www.bzxz.net
收视评价
高线分析
交互式分析
批处理
随式分析
支撑组件
内存计算
流处理
图计算
批流混合计算
采集配置
致据源配置
存储资源
网络资源
图例：
图1大数据平台示意图
数据流
大数据
数据核心子
资源管
理稚架
子系统
运维管理
能力建设
领行操作
运维管理
运行维护子系统
取据平
等保管理
等保定级
定级测评
安全运行
物理安全
通信安全
界安全
计算安全
业务安全
系统安全
安全运行子系统
子最统
大数据平台由数据核心子系统、基础资源子系统、安全运行子系统和运行维护子系统组成。数据核心子系统是大数据平台的核心组成部分，由数据采集接入、数据存储、数据处理、数据分析，数据服务、资源管理等框架组成，负责实现数据输入、计算处理和输出功能，以及对外开放大数据平台的数据服务功能。基础资源子系统为大数据平台提供机房、计算资源、存储资源、网络资源等基础服务，安全运行子系统和运行维护子系统为数据处理提供基本保障。大数据平台应支持采集、接入、处理运营机构的BSS、OSS、MSS数据，广告、媒资、用户收视行为、用户体验数据，以及网管、门户网站等数据，具体支持的数据内容如图2所示。上传到大数据平台的数据，其格式和交互方式应与GY/TXXX.1一XXXX的要求相符，例如大数据平台应具备采集接入符合GD/J075-2018要求的数据。
GY/T339.2—2020
BSS域数据
（客户关系管理数据
综合计费账务数据
合作伙伴管理数据
（统一用户认证数据
呼叫中心/客服数据
用户自助渠道数据
数据核心子系统技术要求
6.1数据采集接入
基本要求
要求如下：
有线电视网络数据源
OsS域数据
服务开通管理数据
综合运维管理数据
网络监控管理数据
综合资源管理数据
MSS域数据
人力资源管理数据
采购与仓储管理数据
项目管理数据
财产管理数据
协同办公数据
图2数据内容
应支持结构化数据、半结构化数据、非结构化数据的批量导入：宜支持从文件服务器的多个目录并发导入数据：应支持离线数据导入功能，延时应不超过24h；应支持实时采集；
其他数据
用户收视行为数据
媒资数据
广告数据
用户体验数据
用户宽带行为数据
应支持定时采集，如可根据预设的频率（小时、天等），自动对选定的数据源进行增量或者全量采集或导入：
应支持对采集对象进行远程配置，如远程设置采集对象的采集频度、采集时间、采集数据量等：应支持采集对象的注册、发布、使用授权、变更、注销等管理：应支持手动控制采集任务的执行过程：宜支持图形化的数据导入配置界面。输入输出API
要求如下：
应为数据采集终端或网关提供数据输入API：应为计算框架提供数据输出API。3采集接入监控
要求如下：
应支持监控采集对象的运行状态：应支持监控来集网络的运行状态，如采集对象所在网络的通断：应支持监控采集任务的执行情况，如支持了解采集任务执行时间、任务进度、已采集数据量等：应支持监控采集服务器CPU、内存、硬盘和网络适配器的使用情况，如果采集服务器部署在虚拟机中，应支持监控虚拟机的CPU、内存、硬盘和网络适配器的使用情况：e)
应支持监控采集任务队列状态；GY/T339.2-2020
应支持异常情况预警，包括采集任务执行失败、采集节点状态异常、网络异常等f
应支持通过任务状态分析、数据完整性分析等方法监控非联网设备的数据采集情况；应支持可定制的监控告警，如提供电子邮件、短信、智能终端APP等告警方式：监控应不影响来集任务的正常执行；宜图形化展示监控数据
性能要求
要求如下：
a）采集接入实时数据时，应具备实时接入全网实时数据的能力，并在不超过3s内将接收的实时数据存入大数据平台的数据存储系统：b)
采集接入BSS离线数据时，应具备1h内完成当日增量数据接入的能力：采集接入OSS离线数据时，应具备1h内完成当日增量数据接入的能力：c
采集接入MSS离线数据时，应具备1h内完成当日增量数据接入的能力：d）
采集接入其他离线数据时，应具备1h内完成当日增量数据接入的能力。6.2数据存储
基本要求
要求如下：
应支持存储结构化数据、半结构化和非结构化数据：应支持数据上传、数据下载、目录查看、目录创建、目录删除、权限修改等操作：应具备标准、开放的数据访问API，以支持对数据的操作：应支持对用户访问进行授权：
应具备数据加载工具或功能，使系统和关系型数据库、其他文件系统之间可进行数据和文件交换：
应支持存储调度，可按用户计划对存储节点的迁移、扩容、复制、更改、删除等进行自动操作：应支持文件分级存储，如单机级、跨服务器级、跨机柜级、跨数据系统级；应支持为用户设置不同的数据存放策略；应支持为单个用户提供逻辑存储空间：应在多用户之间设置数据隔离机制；应支持在数据源端去重处理；
应支持表管理功能：
应支持负载均衡，负载均衡切换过程中，业务应不中断；应支持对关系型数据库的不同数据实例制定独立的数据备份策略：宜支持数据自动备份和手动备份；宜支持数据批量更新、删除等数据管理操作：宜支持流式实时数据入库和实时查询。6.2.2
文件系统
要求如下：
a）应支持文件的上传、下载、读写、复制、移动、删除、访问控制等：b）应具备文件容错机制和系统高可用机制，包括数据块备份、系统快速恢复等功能：5
GY/T339.2—2020
应支持文件数据的校验和同步，保证数据的完整性与一致性；应支持分布式文件系统的弹性扩展，支持节点动态添加和删除：应支持压缩和加密存储的数据：应支持快速检索，如数据资源的统一检索、编目、增加和删除：应支持文件的搜索、批量操作、回收站、快照：宜支持小文件打包为大文件集中存储：宜支持存储配额管理，可基于目录存储空间及文件数量进行配额控制；宜支持分级存储的功能，如根据数据的使用热度、时延要求等特性将数据分别存储在SSD、HDD等介质中。
3数据库支持
关系数据库
要求如下：
应支持结构化数据存储机制，实现数据存储的可扩展性：b)
应支持多表关联：
应支持数据存储一致性检查，实现数据的完整性与一致性：c）
宜支持行列混合存储，支持表按行或列格式组织存储；宜支持行列转换。
列式数据库
要求如下：
应支持以键值形式进行数据存储：b)
应支持基于表、列族和列的用户权限管理，权限管理操作包括读、写、创建等；应支持对数据库中的列进行加密：应支持数据的备份与恢复，包括库级别的备份和恢复，并提供备份恢复进展、历史记录查看等功能：
宜支持多级索引：
宜支持将多个具有类似功能或存在关联关系的业务表进行合并存储。6.2.3.3图数据库
要求如下：
应支持由节点及边组成的数据模型：b)
应支持图查询、图遍历、图分析、图挖掘等；应支持主流开发接口；
应支持单节点、多节点多层关系扩线查询，支持广度优先、深度优先、最短路径、最优路径遍历搜索算法：
宜支持顶点、属性的继承操作；宜支持长任务异步会机制。
性能要求
要求如下：
a）列式数据库存储，实时处理响应时间应小于1s，一亿条记录的批处理响应时间应小于10s6
小提示：此标准内容仅展示完整标准里的部分截取内容，若需要完整标准请到上方自行免费下载完整标准文档。
有线电视网络大数据技术规范
第2部分：平台要求
Technical specificationforCATV'sbigdata-Part2:Platform'srequirements2020-12-22发布
国家广播电视总局
2020-12-22实施
规范性引用文件
术语和定义
缩略语
数据核心子系统技术要求
数据采集接入
数据存储
数据处理
数据分析，
数据展示，
数据开放
资源管理
基础资源子系统技术要求
安全运行子系统技术要求
运行维护子系统技术要求
9.2运维能力和支撑保障
9.3运维操作
运维过程管理
附录A（资料性）
参考文献
大数据参考体系架构
GY/T339.2—2020
GY/T339.2—2020
本文件按照GB/T1.1一2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。
本文件为GY/T339《有线电视网络大数据技术规范》的第2部分。GY/T339已经发布了以下部分一第1部分：通用要求：
一第2部分：平台要求：
一第3部分：数据规则。
请注意本文件的某些内容可能涉及专利。本文件发布机构不承担识别这些专利的责任。本文件由全国广播电影电视标准化技术委员会（SAC/TC239）归口。本文件起草单位：国家广播电视总局广播电视规划院、中国电子技术标准化研究院、广州市诚毅科技软件开发有限公司、浩鲸云计算科技股份有限公司、北京东方国信科技股份有限公司、华数数字电视传媒集团有限公司、国家广播电视总局广播电视科学研究院、重庆有线电视网络股份有限公司、中国广播电视网络有限公司、北京歌华有线电视网络股份有限公司、广东省广播电视网络股份有限公司、湖北省广播电视信息网络股份有限公司、河北广电无线传媒有限公司、深圳市天威视讯股份有限公司、陕西广电网络传媒（集团）股份有限公司、陕西广信新媒体有限责任公司、贵州省广播电视信息网络股份有限公司、江苏省广电有线信息网络股份有限公司、北京邮电大学、北京海致星图科技有限公司、广西广电大数据科技有限公司、新疆广电网络股份有限公司。本文件主要起草人：余英、韦安明、吴钟乐、张群、刘智、王帅、刘敬玉、唐志燕、李庆国、聂明杰、邓向冬、曹志、王倩男、赵明、赵士原、欧阳峰、杨旭、沈文、唐永壮、董彬、刘军霞、胡其权、刘彦鹏、柳涛、杨晨、王洪波、王飞、梅杨、唐臭、陈昕、尹卓、曹燕明、诸葛海标、胡宸、张玮、刘晓敏、王欣然、曹阳、李海波、瀚宏、付晶、赵良福、苟明宇、杨敬一、王季友、刘艺兰、张城瑞、周传淆、傅力军、王瑶、范斐、孙嘉阳、张琦、陶宛昌、张君、王士刚、杨娟、郑璐、林昕、李文、涂均、吕燕、刘波、彭宇涛、杨斌。II
GY/T339.2—2020
GY/T339《有线电视网络大数据技术规范》规定了有线电视网络大数据技术规范的通用要求，包括大数据系统和数据服务的功能、性能、接口、安全等方面的要求，适用于有线电视网络大数据系统和业务的规划、设计、实施、验收、升级改造和运行维护。GY/T339共有三个部分。各部分简述如下。一第1部分：通用要求。规定了有线电视网络大数据系统和数据服务的功能、性能、接口、安全等方面的要求。
一一第2部分：平台要求。规定了有线电视网络大数据平台的结构和技术要求，一一第3部分：数据规则。规定了有线电视网络大数据的数据源、数据内容和数据表达规则。1范围
GY/T339.2—2020
有线电视网络大数据技术规范第2部分：平台要求本文件规定了有线电视网络大数据平台的结构和技术要求，还规定了对有线电视网络大数据采集接入、存储、处理、分析、展示和开放服务的技术要求。本文件适用于有线电视网络数据的采集、接入、存储、处理、分析、展示和开放服务，还适用于指导有线电视网络运营机构开展大数据平台的规划设计、实施、升级改造和运行维护。规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件：不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。
GB/T22239—2019
信息安全技术网络安全等级保护基本要求GB/T35295—2017信息技术大数据术语GB/T35589—2017信息技术大数据技术参考模型GB50174—2017
数据中心设计规范
GY/T337—2020
GD/T075—2018
术语和定义
广播电视网络安全等级保护定级指南电视收视数据交换接口规范
GB/T35295一2017界定的以及下列术语和定义适用于本文件。3.1
大数据big data
具有体量巨大、来源多样、生成极快、多变等特征并且难以用传统数据体系结构有效处理的包含大量数据集的数据。
L来源：GB/T35295—2017，定义2.1.13.2
大数据参考体系结构bigdatareferencearchitecture一种用作工具以便于对大数据内在的要求、设计结构和运行进行开放性探讨的高层概念模型。［来源：GB/T35295—2017，定义2.1.3]3.3
数据中心datacenter
GY/T339.2—2020
由计算机场站（机房）、机房基础设施、信息系统硬件（物理和虚拟资源）、信息系统软件和信息资源（数据）等组成的实体。
大数据平台bigdataplatform
以大数据参考体系结构为基础的数据中心系统，在本文件中，指集成了大数据采集接入、存储、处理、分析、共享，以及各类配套功能组件及基础设施的数据处理系统。3.5
数据采集终端data collection terminal一种部署在数据生成节点的、实现数据规范收集汇总和处理的软件组件或实体设备。3.6
大数据系统bigdatasystem
以大数据参考体系结构为基础的数据处理系统，在本文件中，指由大数据平台、数据源、数据采集终端、网关，以及相关辅助等功能组件构成的数据处理系统。［来源：GB/T35295—2017，定义2.1.14]。3.7
元数据
metadata
一种带有数据类型、编码、名称、业务描述等属性的，可用于描述数据产品特征的数据单元。3.8
框架framework
-种由数据的采集、接入、存储、处理、分析、服务等功能组件构成的集合。4缩略语
下列缩略语适用于本文件。
API应用程序编程接口（ApplicationProgrammingInterface）BSs业务支撑系统（BusinessSupportSystem）CEP
复杂事件处理（ComplexEventProcessing）CPU中央处理器（CentralProcessingUnit）GPU图形处理器（GraphicProcessingUnit）硬盘驱动器（HardDiskDrive）
输入输出（InputandOutput）
MPI消息传递接口（Message-Passing-Interface）MSS管理支撑系统（ManagementSupportSystem）NoSQL非关系型的数据库（NotonlySQL）OLAP在线分析处理（On-LineAnalysisProcessing）OSS运营支撑系统（OperationSupportSystem）RAID独立磁盘穴余阵列（RedundantArraysofIndependentDrives）SQL结构化查询语言（StructuredQueryLanguage）2
SSD固态盘（SolidStateDisk）
XML可扩展标记语言（ExtensibleMarkupLanguage）5概述
GY/T339.2--2020
大数据平台实现对运营机构经营和系统运行维护过程中产生的各类大数据的采集、接入、处理、存储、分析、展示、共享和管理，为大数据消费者提供数据和服务，以及为运营机构间的数据交换提供统一接口。图1采用GB/T35589一2017中关于大数据参考体系架构的定义，采用角色、活动、组件等逻辑构件描述有线电视网络大数据平台（以下简称大数据平台或平台）的组成和业务逻辑。关于大数据参考体系架构，以及角色、活动、组件的描述见附录A。户服务
有线电视网络大致据源
数据上报
BSS域数据
oss城数据
MSS城数据
平台侧教据
元数据
格式转换
直准营销
列式数据库
图数据库
关系数据库
文件系统
输入API
批量采集
机房设施
精细服务
南确管理
精益网运
数据展示
数据开放
服务能力展现/申请/运营
输出API
实时采集
计算资源
采集展示
采集监控www.bzxz.net
收视评价
高线分析
交互式分析
批处理
随式分析
支撑组件
内存计算
流处理
图计算
批流混合计算
采集配置
致据源配置
存储资源
网络资源
图例：
图1大数据平台示意图
数据流
大数据
数据核心子
资源管
理稚架
子系统
运维管理
能力建设
领行操作
运维管理
运行维护子系统
取据平
等保管理
等保定级
定级测评
安全运行
物理安全
通信安全
界安全
计算安全
业务安全
系统安全
安全运行子系统
子最统
大数据平台由数据核心子系统、基础资源子系统、安全运行子系统和运行维护子系统组成。数据核心子系统是大数据平台的核心组成部分，由数据采集接入、数据存储、数据处理、数据分析，数据服务、资源管理等框架组成，负责实现数据输入、计算处理和输出功能，以及对外开放大数据平台的数据服务功能。基础资源子系统为大数据平台提供机房、计算资源、存储资源、网络资源等基础服务，安全运行子系统和运行维护子系统为数据处理提供基本保障。大数据平台应支持采集、接入、处理运营机构的BSS、OSS、MSS数据，广告、媒资、用户收视行为、用户体验数据，以及网管、门户网站等数据，具体支持的数据内容如图2所示。上传到大数据平台的数据，其格式和交互方式应与GY/TXXX.1一XXXX的要求相符，例如大数据平台应具备采集接入符合GD/J075-2018要求的数据。
GY/T339.2—2020
BSS域数据
（客户关系管理数据
综合计费账务数据
合作伙伴管理数据
（统一用户认证数据
呼叫中心/客服数据
用户自助渠道数据
数据核心子系统技术要求
6.1数据采集接入
基本要求
要求如下：
有线电视网络数据源
OsS域数据
服务开通管理数据
综合运维管理数据
网络监控管理数据
综合资源管理数据
MSS域数据
人力资源管理数据
采购与仓储管理数据
项目管理数据
财产管理数据
协同办公数据
图2数据内容
应支持结构化数据、半结构化数据、非结构化数据的批量导入：宜支持从文件服务器的多个目录并发导入数据：应支持离线数据导入功能，延时应不超过24h；应支持实时采集；
其他数据
用户收视行为数据
媒资数据
广告数据
用户体验数据
用户宽带行为数据
应支持定时采集，如可根据预设的频率（小时、天等），自动对选定的数据源进行增量或者全量采集或导入：
应支持对采集对象进行远程配置，如远程设置采集对象的采集频度、采集时间、采集数据量等：应支持采集对象的注册、发布、使用授权、变更、注销等管理：应支持手动控制采集任务的执行过程：宜支持图形化的数据导入配置界面。输入输出API
要求如下：
应为数据采集终端或网关提供数据输入API：应为计算框架提供数据输出API。3采集接入监控
要求如下：
应支持监控采集对象的运行状态：应支持监控来集网络的运行状态，如采集对象所在网络的通断：应支持监控采集任务的执行情况，如支持了解采集任务执行时间、任务进度、已采集数据量等：应支持监控采集服务器CPU、内存、硬盘和网络适配器的使用情况，如果采集服务器部署在虚拟机中，应支持监控虚拟机的CPU、内存、硬盘和网络适配器的使用情况：e)
应支持监控采集任务队列状态；GY/T339.2-2020
应支持异常情况预警，包括采集任务执行失败、采集节点状态异常、网络异常等f
应支持通过任务状态分析、数据完整性分析等方法监控非联网设备的数据采集情况；应支持可定制的监控告警，如提供电子邮件、短信、智能终端APP等告警方式：监控应不影响来集任务的正常执行；宜图形化展示监控数据
性能要求
要求如下：
a）采集接入实时数据时，应具备实时接入全网实时数据的能力，并在不超过3s内将接收的实时数据存入大数据平台的数据存储系统：b)
采集接入BSS离线数据时，应具备1h内完成当日增量数据接入的能力：采集接入OSS离线数据时，应具备1h内完成当日增量数据接入的能力：c
采集接入MSS离线数据时，应具备1h内完成当日增量数据接入的能力：d）
采集接入其他离线数据时，应具备1h内完成当日增量数据接入的能力。6.2数据存储
基本要求
要求如下：
应支持存储结构化数据、半结构化和非结构化数据：应支持数据上传、数据下载、目录查看、目录创建、目录删除、权限修改等操作：应具备标准、开放的数据访问API，以支持对数据的操作：应支持对用户访问进行授权：
应具备数据加载工具或功能，使系统和关系型数据库、其他文件系统之间可进行数据和文件交换：
应支持存储调度，可按用户计划对存储节点的迁移、扩容、复制、更改、删除等进行自动操作：应支持文件分级存储，如单机级、跨服务器级、跨机柜级、跨数据系统级；应支持为用户设置不同的数据存放策略；应支持为单个用户提供逻辑存储空间：应在多用户之间设置数据隔离机制；应支持在数据源端去重处理；
应支持表管理功能：
应支持负载均衡，负载均衡切换过程中，业务应不中断；应支持对关系型数据库的不同数据实例制定独立的数据备份策略：宜支持数据自动备份和手动备份；宜支持数据批量更新、删除等数据管理操作：宜支持流式实时数据入库和实时查询。6.2.2
文件系统
要求如下：
a）应支持文件的上传、下载、读写、复制、移动、删除、访问控制等：b）应具备文件容错机制和系统高可用机制，包括数据块备份、系统快速恢复等功能：5
GY/T339.2—2020
应支持文件数据的校验和同步，保证数据的完整性与一致性；应支持分布式文件系统的弹性扩展，支持节点动态添加和删除：应支持压缩和加密存储的数据：应支持快速检索，如数据资源的统一检索、编目、增加和删除：应支持文件的搜索、批量操作、回收站、快照：宜支持小文件打包为大文件集中存储：宜支持存储配额管理，可基于目录存储空间及文件数量进行配额控制；宜支持分级存储的功能，如根据数据的使用热度、时延要求等特性将数据分别存储在SSD、HDD等介质中。
3数据库支持
关系数据库
要求如下：
应支持结构化数据存储机制，实现数据存储的可扩展性：b)
应支持多表关联：
应支持数据存储一致性检查，实现数据的完整性与一致性：c）
宜支持行列混合存储，支持表按行或列格式组织存储；宜支持行列转换。
列式数据库
要求如下：
应支持以键值形式进行数据存储：b)
应支持基于表、列族和列的用户权限管理，权限管理操作包括读、写、创建等；应支持对数据库中的列进行加密：应支持数据的备份与恢复，包括库级别的备份和恢复，并提供备份恢复进展、历史记录查看等功能：
宜支持多级索引：
宜支持将多个具有类似功能或存在关联关系的业务表进行合并存储。6.2.3.3图数据库
要求如下：
应支持由节点及边组成的数据模型：b)
应支持图查询、图遍历、图分析、图挖掘等；应支持主流开发接口；
应支持单节点、多节点多层关系扩线查询，支持广度优先、深度优先、最短路径、最优路径遍历搜索算法：
宜支持顶点、属性的继承操作；宜支持长任务异步会机制。
性能要求
要求如下：
a）列式数据库存储，实时处理响应时间应小于1s，一亿条记录的批处理响应时间应小于10s6
小提示：此标准内容仅展示完整标准里的部分截取内容，若需要完整标准请到上方自行免费下载完整标准文档。