GY/T 339.1-2020
基本信息
标准号： GY/T 339.1-2020
中文名称：有线电视网络大数据技术规范 第1部分:通用要求
标准类别：广播电影电视行业标准(GY)
标准状态：现行
出版语种：简体中文
下载格式：.zip .pdf
下载大小：636343
标准分类号
关联标准
出版信息
相关单位信息
标准简介
GY/T 339.1-2020.Technical specification for CATV's big data-Part 1: General requirements.
GY/T 339.1规定了有线电视网络大数据技术规范的通用要求,包括大数据系统和数据服务的功能、性能、接口、安全等方面的要求。
GY/T 339.1适用于有线电视网络大数据系统和业务的规划、设计、实施、验收、升级改造和运行维护。
2规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件，仅该日期对应的版本适用于本文件:不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。
GB/T 7408- -2005 数据 元和交换格式信息交换日期和时间表示法(ISO 8601:2000, IDT)
GB/T 35273-2017信息安全技术 个人信 息安全规范
GB/T 35295- -2017信息技术大数据术语
GY/T 339.2- -2020有线电视网络大数据技术规范 第2部分: 平台要求
GY/T 339. 3- -2020有线电视网络大数据技 术规范第3部分: 数据规则
GD/J 074- -2018电视收视数据元素 集规范
GD/J 075- -2018电视收视数据 交换接口规范
IETF RFC 1952 GZIP文件格式规范4.3 (GZIP file format specification version 4. 3)
IETF RFC3629 UTF-8, IS0 10646的-种转换格式(UTF-8, a transformation format of IS0 10646)
IETF RFC 8259 JSON数据交换 格式(The JavaScript Ob, ject Notat ion (JSON) Data Interchange Format )
3术语和定义
GB/T 35295- -2017界定的以及下列术语和定义适用于本文件。
3.1大数据big data具有体量巨大、来源多样、生成极快、多变等特征并且难以用传统数据体系结构有效处理的包含大量数据集的数据。[来源: GB/T 35295- -2017, 定义2. 1.1]
GY/T 339.1规定了有线电视网络大数据技术规范的通用要求,包括大数据系统和数据服务的功能、性能、接口、安全等方面的要求。
GY/T 339.1适用于有线电视网络大数据系统和业务的规划、设计、实施、验收、升级改造和运行维护。
2规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件，仅该日期对应的版本适用于本文件:不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。
GB/T 7408- -2005 数据 元和交换格式信息交换日期和时间表示法(ISO 8601:2000, IDT)
GB/T 35273-2017信息安全技术 个人信 息安全规范
GB/T 35295- -2017信息技术大数据术语
GY/T 339.2- -2020有线电视网络大数据技术规范 第2部分: 平台要求
GY/T 339. 3- -2020有线电视网络大数据技 术规范第3部分: 数据规则
GD/J 074- -2018电视收视数据元素 集规范
GD/J 075- -2018电视收视数据 交换接口规范
IETF RFC 1952 GZIP文件格式规范4.3 (GZIP file format specification version 4. 3)
IETF RFC3629 UTF-8, IS0 10646的-种转换格式(UTF-8, a transformation format of IS0 10646)
IETF RFC 8259 JSON数据交换 格式(The JavaScript Ob, ject Notat ion (JSON) Data Interchange Format )
3术语和定义
GB/T 35295- -2017界定的以及下列术语和定义适用于本文件。
3.1大数据big data具有体量巨大、来源多样、生成极快、多变等特征并且难以用传统数据体系结构有效处理的包含大量数据集的数据。[来源: GB/T 35295- -2017, 定义2. 1.1]
标准图片预览
标准内容
中华人民共和国广播电视和网络视听行业标准GY/T339.1—2020
有线电视网络大数据技术规范
第1部分：通用要求
Technical specification for CATV's big data-Partl:General requirements
2020-12-22发布
国家广播电视总局
2020-12-22实施
规范性引用文件
术语和定义
缩略语
数据采集接入要求
基本要求
6.3采集接入内容
6.4数据表达
性能要求
交互与接口
数据处理要求
数据开放与服务要求
功能要求
8.2开放内容
数据表达，
性能要求，
交互与数据接口
数据服务安全要求
数据采集环节
数据传输环节
数据接入平台环节
数据存储环节
数据处理环节
数据开放环节
接口安全
个人信息隐私保护
附录A（规范性）
交互过程
数据采集上报的交互过程与接口要求GY/T339.1—2020
GY/T339.12020
A.2接口，
A.3OAuth2密码模式认证过程.*
设备注册过程
控制信令消息格式
文件数据上报
附录B（规范性）
认证接口
大数据平台与应用系统的交互过程与接口要求资源调用接口
参考文献
GY/T339.1—2020
本文件按照GB/T1.1一2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。
本文件为GY/T339《有线电视网络大数据技术规范》的第1部分。GY/T339已经发布了以下部分一第1部分：通用要求：
一第2部分：平台要求：
一第3部分：数据规则。
请注意本文件的某些内容可能涉及专利。本文件发布机构不承担识别这些专利的责任，本文件由全国广播电影电视标准化技术委员会（SAC/TC239）归口。本文件起草单位：国家广播电视总局广播电视规划院、中国电子技术标准化研究院、北京邮电大学、广州市诚毅科技软件开发有限公司、浩鲸云计算科技股份有限公司、北京东方国信科技股份有限公司、华数数字电视传媒集团有限公司、国家广播电视总局广播电视科学研究院、重庆有线电视网络股份有限公司、中国广播电视网络有限公司、北京歌华有线电视网络股份有限公司、广东省广播电视网络股份有限公司、湖北省广播电视信息网络股份有限公司、河北广电无线传媒有限公司、深圳市天威视讯股份有限公司、陕西广电网络传媒（集团）股份有限公司、陕西广信新媒体有限责任公司、贵州省广播电视信息网络股份有限公司、江苏省广电有线信息网络股份有限公司、北京海致星图科技有限公司、广西广电大数据科技有限公司、新疆广电网络股份有限公司。本文件主要起草人：余英、韦安明、吴钟乐、张群、王洪波、刘智、王帅、刘敬玉、唐志燕、李庆国、聂明杰、邓向冬、曹志、王倩男、赵明、赵士原、欧阳峰、杨旭、沈文、唐永壮、董彬、刘军霞、胡其权、刘彦鹏、柳涛、杨晨、王飞、郑璐、林昕、梅杨、唐昊、陈昕、尹卓、曹燕明、诸葛海标、胡宸、张玮、刘晓敏、王欣然、曹阳、李海波、瀚宏、付晶、赵良福、苟明宇、杨敬一、王季友、刘艺兰、张城瑞、周传淆、傅力军、王瑶、范斐、孙嘉阳、张琦、陶宛昌、张君、王士刚、杨娟、李文、涂均、吕燕、刘波、彭宇涛、杨斌。GY/T339.12020
GY/T339《有线电视网络大数据技术规范》规定了有线电视网络大数据技术规范的通用要求，包括大数据系统和数据服务的功能、性能、接口、安全等方面的要求，适用于有线电视网络大数据系统和业务的规划、设计、实施、验收、升级改造和运行维护。GY/T339共有三个部分。各部分简述如下。一第1部分：通用要求。规定了有线电视网络大数据系统和数据服务的功能、性能、接口、安全等方面的要求。
一第2部分：平台要求。规定了有线电视网络大数据平台的结构和技术要求。一一第3部分：数据规则。规定了有线电视网络大数据的数据源、数据内容和数据表达规则。IV
1范围
GY/T339.1—2020
有线电视网络大数据技术规范第1部分：通用要求本文件规定了有线电视网络大数据技术规范的通用要求，包括大数据系统和数据服务的功能、性能接口、安全等方面的要求。
本文件适用于有线电视网络大数据系统和业务的规划、设计、实施、验收、升级改造和运行维护。2规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件：不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。
GB/T74082005数据元和交换格式信息交换日期和时间表示法（IS08601:2000，IDT）GB/T35273—2017信息安全技术个人信息安全规范GB/T35295—2017信息技术大数据术语GY/T339.2一2020有线电视网络大数据技术规范第2部分：平台要求GY/T339.3一2020有线电视网络大数据技术规范第3部分：数据规则GD/J074—2018
GD/T075—2018
电视收视数据元素集规范
电视收视数据交换接口规范
GZIP文件格式规范4.3（GZIPfileformatspecificationversion4.3）IETFRFC1952
IETFRFC3629UTF-8，IS010646的-种转换格式（UTF-8，atransformationformatofIS010646）IETFRFC8259
JSON数据交换格式（TheJavaScriptObjectNotation(JSON）DataInterchangeFormat)
3术语和定义
GB/T35295一2017界定的以及下列术语和定义适用于本文件。3.1
大数据bigdata
具有体量巨大、来源多样、生成极快、多变等特征并且难以用传统数据体系结构有效处理的包含大量数据集的数据。
[来源：GB/T35295—2017，定义2.1.1]3.2
大数据参考体系结构bigdatareferencearchitecture一种用作工具以便于对大数据内在的要求、设计结构和运行进行开放性探讨的高层概念模型。［来源：GB/T35295—2017，定义2.1.3]1
GY/T339.1—2020
数据中心datacenter
由计算机场站（机房）、机房基础设施、信息系统硬件（物理和虚拟资源）、信息系统软件和信息资源（数据）等组成的实体。
大数据平台bigdataplatform
以大数据参考体系结构为功能基础的数据中心系统，在本文件中，指集成了大数据采集接入、存储、处理、分析、共享，以及各类配套功能组件及基础设施的数据处理系统。3.5
大数据系统big datasystem
以大数据参考体系结构为基础的数据处理系统，在本文件中，指由大数据平台、数据源、数据采集终端、网关以及相关辅助功能组件构成的数据处理系统。［来源：GB/T35295—2017，定义2.1.14]3.6
数据采集终端datacollectionterminal一种部署在数据源实现数据规范收集汇总的软件组件或实体设备。3.7
OAuth2TheOAuth2.0AuthorizationFramework通过该框架，允许第三方应用程序通过IETFRFC6749规定的方法获取HTTP服务或行为的有限制的访问权限。
注：OAuth2是由IETFRFC6749描述的“0Auth2.0授权框架”的简称。缩略语
下列缩略语适用于本文件。
API应用程序编程接口（ApplicationProgrammingInterface）BSs业务支撑系统（BusinessSupportSystem）超文本传输协议（HyperTextTransferProtocol）HTTP免费标准bzxz.net
安全超文本传输协议（SecureHypertextTransferProtocol）JSONJavaScript对象标记（JavaScriptObjectNotation）MSS
管理支撑系统（ManagementSupportSystem）OSs
运营支撑系统（OperationSupportSystem）SQL
结构化查询语言（StructuredQueryLanguage）统一资源标识符（UniformResourceIdentifier）URI
UTF-88位通用字符集转换格式（8-bitUnicodeTransformationFormat）5概述
GY/T 339.1—2020
本文件将大数据系统的结构用图1的形式进行建模，系统中包括数据采集接入、数据处理、数据应用等部分。本文件为大数据系统的通用要求部分，规定数据源、数据采集接入，数据处理、数据开放服务、数据服务安全及个人信息隐私保护的基本要求，以及数据采集终端与平台、平台与应用系统之间的交互和接口。
数据采集终端均通过网关与平台进行数据交换。对于不同的应用场景，网关可表现为不同的形式：种为集成在数据采集终端内部的组件，一种为独立于数据采集终端和大数据平台的实体设备，也可能是集成在大数据平台内部的一个组件。为了便于定义大数据业务流程，本文件不区分网关的具体实现形式和位置，仅将其当成一个实现格式规范化转换和执行通信功能的功能实体。大数据系统模型各单元之间有依赖关系：例如数据采集终端执行数据采集流程并上传数据到网关网关接收数据采集终端的数据并封装成规范格式后上传到大数据平台，大数据平台接受终端和网关的认证注册，向终端和网关下发操作指令，同时为各类大数据应用提供开放的数据服务。数据源
BSS数据
OSS数据
MSS数据
业务平台数据
其他数据
6数据采集接入要求
6.1概述
大数据平台
计算/存储/网络资源池
基础配套
系统管理
图1大数据系统模型
数据采集接入指大数据平台将外部数据纳入大数据平台内部的过程。6.2
：基本要求
要求如下：
应具备定时采集接入数据的功能a
应具备定量采集接入数据的功能；宜提供图形化的数据采集接入配置或管理界面；应具备采集接入结构化数据的功能：应具备采集接入半结构化数据的功能；应具备采集接入非结构化数据的功能：应具备采集接入实时在线数据的功能；应具备采集接入离线数据的功能：应具备主动采集接入和被动接收数据的功能；宜采取措施维持数据源与接入服务器时钟的同步。6.3采集接入内容
要求如下：
应具备采集接入GY/T339.3一2020规定的各类基础数据的功能数据应用
精准营销
精细服务
精确管理
精益网运
数据共享
GY/T339.1—2020
b）应具备采集接入GD/J074一2018规定的收视评价基础数据的功能。6.4数据表达
要求如下：
a）应支持采集接入按GY/T339.3—2020规定格式表达的数据：b）应支持采集接入按GD/J075一2018规定的格式表达的符合GD/J074—2018规定的数据。6.5性能要求
要求如下：
a）采集接入实时数据时，应具备实时传输、接入全网实时数据的能力，实时数据应在不超过3s内从数据源到达大数据平台的数据存储系统：采集接入BSS离线数据时，应具备1h内完成当日增量数据的传输、接入的能力b）
采集接入OSS离线数据时，应具备1h内完成当日增量数据的传输、接入的能力；c
采集接入MSS离线数据时，应具备1h内完成当日增量数据的传输、接入的能力；d)
e）采集接入其他离线数据时，应具备1h内完成该类数据当日增量的传输、接入的能力。6.6交互与接口
要求如下：
a）数据源或数据采集终端与大数据平台间的交互应通过网关进行；b）
数据源数据采集终端与大数据平台间的交互宜符合附录A的要求数据处理要求
大数据平台接入数据后，应具备数据处理功能，要求如下：应具备数据预处理功能，可对存放在文件系统和数据库中的数据进行抽取、清洗、转换等操作az
后加载到数据分析等处理模块；b)
应具备存储处理后的数据的功能，可为其他处理模块提供上传、下载、查看、删除、权限管理等操作，并通过完余备份等机制提供安全的数据存储；应具备计算资源配置、调度和回收管理功能，支持水平扩展计算框架、调度任务和管理任务优先级：
应具备数据分析功能，支持非结构化数据、实时数据、结构化数据的分析，可提供SQL分析、跨数据源关联分析、机器学习等数据分析功能，并提供对大数据平台外开放分析服务的API：应具备接入、处理符合GY/T339.3一2020规定的数据的能力数据处理环节的功能、性能、数据访问、系统和数据管理、基础配套、安全可靠性和运行维扩等应满足GY/T339.2—2020的要求。3数据开放与服务要求
8.1功能要求
要求如下：
a）应具备对外提供数据服务的功能，如提供数据交换、共享、发布等功能b）宜具备对外开放数据存储、分析、展示功能；4
GY/T339.1-2020
应具备管理数据服务用户注册、授权、计费功能，可监看和审计用户的行为；c
应提供开放的数据服务接口，如提供用户注册API、服务应用API，宜提供二次开发接口，允d
许用户自定义业务：
应能提供至少1年内的BSS、OSS、MSS数据：e）
其他功能应满足GY/T339.2—2020的要求。f
8.2开放内容
要求如下：
a）宜具备开放数据终端接入的原始数据的功能：b）应具备开放GY/T339.3一2020定义的数据集的功能：应具备开放处理或分析数据结果的功能；c
d）宜具备开放数据存储、处理和分析能力的功能。8.3数据表达
开放的数据集，收视数据应按GD/T075一2018规定的格式表送，其他数据格式应符合GY/T339.3—2020的规定。
8.4性能要求
大数据平台对外提供数据开放服务时，性能要求如下：a）应用系统向大数据平台发送的注册或认证消息，大数据平台的平均响应时间应小于1s：应用系统向大数据平台请求数据交换的响应时间、交换的数据包大小、共享的数据容量、多数b)
据源访问响应时间、并发用户数等性能应满足GY/T339.2一2020的要求。8.5交互与数据接口
平台与应用系统之间的交互宜符合附录B的要求9数据服务安全要求
9.1概述
在开展数据服务的过程中，应采取措施确保大数据系统的数据采集、传输、存储、处理、数据开放的安全。
2数据采集环节
要求如下：
应确保数据采集的合法性和正当性；应按照GY/T339.3—2020规定的范围采集数据，按照GY/T339.3—2020的要求规范数据格式b)
明确采集频度：
应通过对组件、终端、设备等采集终端进行必要的技术控制，如在部署前对采集终端进行采集能力认证、计量等，确保数据的完整性、一致性和真实性；应明确数据收集和获取过程中个人信息和重要数据的知悉范围和安全管控措施，确保采集数据的合法性、完整性和真实性；
e）应采取脱敏、加密等技术或管理措施确保采集过程中涉及的个人信息和重要数据不被泄露：5
GY/T339.1—2020
f）应对数据采集行为进行权限管理。9.3数据传输环节
要求如下：
a）应对敏感数据进行加密传输：b）宜对重要数据进行加密传输。9.4，数据接入平台环节
要求如下：
a）应建立数据采集终端/网关接入平台的身份识别与鉴别策略、权限分配策略和相关操作规程，建立访问控制时效管理机制：
b）应具备数据接入的安全审计功能。9.5数据存储环节
要求如下：
应采取余存储或多副本存储措施，确保数据的可用性：a）
应采取校验等检验和容错技术措施，确保多副本数据存储的一致性；c)
宜具备数据归档离线存储功能：d）
应确保存储技术架构具备加密敏感数据、重要数据的能力。9.6数据处理环节
数据处理发生在大数据平台内部，要求如下：a）应确保处理过程中发生数据迁移、变换时的真实性、完整性和一致性；b）应确保数据处理过程操作行为可审计，数据质量可溯源，重要数据受保护。9.7数据开放环节
要求如下：
a）应建立应用系统接入平台的身份识别与鉴别策略、权限分配策略和相关操作规程，建立访问控制时效管理机制：
应建立应用系统访问平台数据、服务的控制策略：b）
应具备数据交换、共享、发布的安全审计功能。c
9.8接口安全
要求如下：
应制定数据服务接口安全控制策略，明确规定使用服务接口的安全措施，如身份鉴别、授权策a)
略、访问控制机制、签名、时间戳、安全协议等；b)
应制定数据服务接口安全规范，包括接口名称、接口参数、对接安全要求等，具备限制或过滤不安全参数的能力：
应具备数据服务接口访问审计功能：宜在数据采集终端与平台、平台与应用系统间采用安全通道或加密通道进行接口调用。9.9有线电视网络用户个人信息隐私保护6
小提示：此标准内容仅展示完整标准里的部分截取内容，若需要完整标准请到上方自行免费下载完整标准文档。
有线电视网络大数据技术规范
第1部分：通用要求
Technical specification for CATV's big data-Partl:General requirements
2020-12-22发布
国家广播电视总局
2020-12-22实施
规范性引用文件
术语和定义
缩略语
数据采集接入要求
基本要求
6.3采集接入内容
6.4数据表达
性能要求
交互与接口
数据处理要求
数据开放与服务要求
功能要求
8.2开放内容
数据表达，
性能要求，
交互与数据接口
数据服务安全要求
数据采集环节
数据传输环节
数据接入平台环节
数据存储环节
数据处理环节
数据开放环节
接口安全
个人信息隐私保护
附录A（规范性）
交互过程
数据采集上报的交互过程与接口要求GY/T339.1—2020
GY/T339.12020
A.2接口，
A.3OAuth2密码模式认证过程.*
设备注册过程
控制信令消息格式
文件数据上报
附录B（规范性）
认证接口
大数据平台与应用系统的交互过程与接口要求资源调用接口
参考文献
GY/T339.1—2020
本文件按照GB/T1.1一2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。
本文件为GY/T339《有线电视网络大数据技术规范》的第1部分。GY/T339已经发布了以下部分一第1部分：通用要求：
一第2部分：平台要求：
一第3部分：数据规则。
请注意本文件的某些内容可能涉及专利。本文件发布机构不承担识别这些专利的责任，本文件由全国广播电影电视标准化技术委员会（SAC/TC239）归口。本文件起草单位：国家广播电视总局广播电视规划院、中国电子技术标准化研究院、北京邮电大学、广州市诚毅科技软件开发有限公司、浩鲸云计算科技股份有限公司、北京东方国信科技股份有限公司、华数数字电视传媒集团有限公司、国家广播电视总局广播电视科学研究院、重庆有线电视网络股份有限公司、中国广播电视网络有限公司、北京歌华有线电视网络股份有限公司、广东省广播电视网络股份有限公司、湖北省广播电视信息网络股份有限公司、河北广电无线传媒有限公司、深圳市天威视讯股份有限公司、陕西广电网络传媒（集团）股份有限公司、陕西广信新媒体有限责任公司、贵州省广播电视信息网络股份有限公司、江苏省广电有线信息网络股份有限公司、北京海致星图科技有限公司、广西广电大数据科技有限公司、新疆广电网络股份有限公司。本文件主要起草人：余英、韦安明、吴钟乐、张群、王洪波、刘智、王帅、刘敬玉、唐志燕、李庆国、聂明杰、邓向冬、曹志、王倩男、赵明、赵士原、欧阳峰、杨旭、沈文、唐永壮、董彬、刘军霞、胡其权、刘彦鹏、柳涛、杨晨、王飞、郑璐、林昕、梅杨、唐昊、陈昕、尹卓、曹燕明、诸葛海标、胡宸、张玮、刘晓敏、王欣然、曹阳、李海波、瀚宏、付晶、赵良福、苟明宇、杨敬一、王季友、刘艺兰、张城瑞、周传淆、傅力军、王瑶、范斐、孙嘉阳、张琦、陶宛昌、张君、王士刚、杨娟、李文、涂均、吕燕、刘波、彭宇涛、杨斌。GY/T339.12020
GY/T339《有线电视网络大数据技术规范》规定了有线电视网络大数据技术规范的通用要求，包括大数据系统和数据服务的功能、性能、接口、安全等方面的要求，适用于有线电视网络大数据系统和业务的规划、设计、实施、验收、升级改造和运行维护。GY/T339共有三个部分。各部分简述如下。一第1部分：通用要求。规定了有线电视网络大数据系统和数据服务的功能、性能、接口、安全等方面的要求。
一第2部分：平台要求。规定了有线电视网络大数据平台的结构和技术要求。一一第3部分：数据规则。规定了有线电视网络大数据的数据源、数据内容和数据表达规则。IV
1范围
GY/T339.1—2020
有线电视网络大数据技术规范第1部分：通用要求本文件规定了有线电视网络大数据技术规范的通用要求，包括大数据系统和数据服务的功能、性能接口、安全等方面的要求。
本文件适用于有线电视网络大数据系统和业务的规划、设计、实施、验收、升级改造和运行维护。2规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件：不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。
GB/T74082005数据元和交换格式信息交换日期和时间表示法（IS08601:2000，IDT）GB/T35273—2017信息安全技术个人信息安全规范GB/T35295—2017信息技术大数据术语GY/T339.2一2020有线电视网络大数据技术规范第2部分：平台要求GY/T339.3一2020有线电视网络大数据技术规范第3部分：数据规则GD/J074—2018
GD/T075—2018
电视收视数据元素集规范
电视收视数据交换接口规范
GZIP文件格式规范4.3（GZIPfileformatspecificationversion4.3）IETFRFC1952
IETFRFC3629UTF-8，IS010646的-种转换格式（UTF-8，atransformationformatofIS010646）IETFRFC8259
JSON数据交换格式（TheJavaScriptObjectNotation(JSON）DataInterchangeFormat)
3术语和定义
GB/T35295一2017界定的以及下列术语和定义适用于本文件。3.1
大数据bigdata
具有体量巨大、来源多样、生成极快、多变等特征并且难以用传统数据体系结构有效处理的包含大量数据集的数据。
[来源：GB/T35295—2017，定义2.1.1]3.2
大数据参考体系结构bigdatareferencearchitecture一种用作工具以便于对大数据内在的要求、设计结构和运行进行开放性探讨的高层概念模型。［来源：GB/T35295—2017，定义2.1.3]1
GY/T339.1—2020
数据中心datacenter
由计算机场站（机房）、机房基础设施、信息系统硬件（物理和虚拟资源）、信息系统软件和信息资源（数据）等组成的实体。
大数据平台bigdataplatform
以大数据参考体系结构为功能基础的数据中心系统，在本文件中，指集成了大数据采集接入、存储、处理、分析、共享，以及各类配套功能组件及基础设施的数据处理系统。3.5
大数据系统big datasystem
以大数据参考体系结构为基础的数据处理系统，在本文件中，指由大数据平台、数据源、数据采集终端、网关以及相关辅助功能组件构成的数据处理系统。［来源：GB/T35295—2017，定义2.1.14]3.6
数据采集终端datacollectionterminal一种部署在数据源实现数据规范收集汇总的软件组件或实体设备。3.7
OAuth2TheOAuth2.0AuthorizationFramework通过该框架，允许第三方应用程序通过IETFRFC6749规定的方法获取HTTP服务或行为的有限制的访问权限。
注：OAuth2是由IETFRFC6749描述的“0Auth2.0授权框架”的简称。缩略语
下列缩略语适用于本文件。
API应用程序编程接口（ApplicationProgrammingInterface）BSs业务支撑系统（BusinessSupportSystem）超文本传输协议（HyperTextTransferProtocol）HTTP免费标准bzxz.net
安全超文本传输协议（SecureHypertextTransferProtocol）JSONJavaScript对象标记（JavaScriptObjectNotation）MSS
管理支撑系统（ManagementSupportSystem）OSs
运营支撑系统（OperationSupportSystem）SQL
结构化查询语言（StructuredQueryLanguage）统一资源标识符（UniformResourceIdentifier）URI
UTF-88位通用字符集转换格式（8-bitUnicodeTransformationFormat）5概述
GY/T 339.1—2020
本文件将大数据系统的结构用图1的形式进行建模，系统中包括数据采集接入、数据处理、数据应用等部分。本文件为大数据系统的通用要求部分，规定数据源、数据采集接入，数据处理、数据开放服务、数据服务安全及个人信息隐私保护的基本要求，以及数据采集终端与平台、平台与应用系统之间的交互和接口。
数据采集终端均通过网关与平台进行数据交换。对于不同的应用场景，网关可表现为不同的形式：种为集成在数据采集终端内部的组件，一种为独立于数据采集终端和大数据平台的实体设备，也可能是集成在大数据平台内部的一个组件。为了便于定义大数据业务流程，本文件不区分网关的具体实现形式和位置，仅将其当成一个实现格式规范化转换和执行通信功能的功能实体。大数据系统模型各单元之间有依赖关系：例如数据采集终端执行数据采集流程并上传数据到网关网关接收数据采集终端的数据并封装成规范格式后上传到大数据平台，大数据平台接受终端和网关的认证注册，向终端和网关下发操作指令，同时为各类大数据应用提供开放的数据服务。数据源
BSS数据
OSS数据
MSS数据
业务平台数据
其他数据
6数据采集接入要求
6.1概述
大数据平台
计算/存储/网络资源池
基础配套
系统管理
图1大数据系统模型
数据采集接入指大数据平台将外部数据纳入大数据平台内部的过程。6.2
：基本要求
要求如下：
应具备定时采集接入数据的功能a
应具备定量采集接入数据的功能；宜提供图形化的数据采集接入配置或管理界面；应具备采集接入结构化数据的功能：应具备采集接入半结构化数据的功能；应具备采集接入非结构化数据的功能：应具备采集接入实时在线数据的功能；应具备采集接入离线数据的功能：应具备主动采集接入和被动接收数据的功能；宜采取措施维持数据源与接入服务器时钟的同步。6.3采集接入内容
要求如下：
应具备采集接入GY/T339.3一2020规定的各类基础数据的功能数据应用
精准营销
精细服务
精确管理
精益网运
数据共享
GY/T339.1—2020
b）应具备采集接入GD/J074一2018规定的收视评价基础数据的功能。6.4数据表达
要求如下：
a）应支持采集接入按GY/T339.3—2020规定格式表达的数据：b）应支持采集接入按GD/J075一2018规定的格式表达的符合GD/J074—2018规定的数据。6.5性能要求
要求如下：
a）采集接入实时数据时，应具备实时传输、接入全网实时数据的能力，实时数据应在不超过3s内从数据源到达大数据平台的数据存储系统：采集接入BSS离线数据时，应具备1h内完成当日增量数据的传输、接入的能力b）
采集接入OSS离线数据时，应具备1h内完成当日增量数据的传输、接入的能力；c
采集接入MSS离线数据时，应具备1h内完成当日增量数据的传输、接入的能力；d)
e）采集接入其他离线数据时，应具备1h内完成该类数据当日增量的传输、接入的能力。6.6交互与接口
要求如下：
a）数据源或数据采集终端与大数据平台间的交互应通过网关进行；b）
数据源数据采集终端与大数据平台间的交互宜符合附录A的要求数据处理要求
大数据平台接入数据后，应具备数据处理功能，要求如下：应具备数据预处理功能，可对存放在文件系统和数据库中的数据进行抽取、清洗、转换等操作az
后加载到数据分析等处理模块；b)
应具备存储处理后的数据的功能，可为其他处理模块提供上传、下载、查看、删除、权限管理等操作，并通过完余备份等机制提供安全的数据存储；应具备计算资源配置、调度和回收管理功能，支持水平扩展计算框架、调度任务和管理任务优先级：
应具备数据分析功能，支持非结构化数据、实时数据、结构化数据的分析，可提供SQL分析、跨数据源关联分析、机器学习等数据分析功能，并提供对大数据平台外开放分析服务的API：应具备接入、处理符合GY/T339.3一2020规定的数据的能力数据处理环节的功能、性能、数据访问、系统和数据管理、基础配套、安全可靠性和运行维扩等应满足GY/T339.2—2020的要求。3数据开放与服务要求
8.1功能要求
要求如下：
a）应具备对外提供数据服务的功能，如提供数据交换、共享、发布等功能b）宜具备对外开放数据存储、分析、展示功能；4
GY/T339.1-2020
应具备管理数据服务用户注册、授权、计费功能，可监看和审计用户的行为；c
应提供开放的数据服务接口，如提供用户注册API、服务应用API，宜提供二次开发接口，允d
许用户自定义业务：
应能提供至少1年内的BSS、OSS、MSS数据：e）
其他功能应满足GY/T339.2—2020的要求。f
8.2开放内容
要求如下：
a）宜具备开放数据终端接入的原始数据的功能：b）应具备开放GY/T339.3一2020定义的数据集的功能：应具备开放处理或分析数据结果的功能；c
d）宜具备开放数据存储、处理和分析能力的功能。8.3数据表达
开放的数据集，收视数据应按GD/T075一2018规定的格式表送，其他数据格式应符合GY/T339.3—2020的规定。
8.4性能要求
大数据平台对外提供数据开放服务时，性能要求如下：a）应用系统向大数据平台发送的注册或认证消息，大数据平台的平均响应时间应小于1s：应用系统向大数据平台请求数据交换的响应时间、交换的数据包大小、共享的数据容量、多数b)
据源访问响应时间、并发用户数等性能应满足GY/T339.2一2020的要求。8.5交互与数据接口
平台与应用系统之间的交互宜符合附录B的要求9数据服务安全要求
9.1概述
在开展数据服务的过程中，应采取措施确保大数据系统的数据采集、传输、存储、处理、数据开放的安全。
2数据采集环节
要求如下：
应确保数据采集的合法性和正当性；应按照GY/T339.3—2020规定的范围采集数据，按照GY/T339.3—2020的要求规范数据格式b)
明确采集频度：
应通过对组件、终端、设备等采集终端进行必要的技术控制，如在部署前对采集终端进行采集能力认证、计量等，确保数据的完整性、一致性和真实性；应明确数据收集和获取过程中个人信息和重要数据的知悉范围和安全管控措施，确保采集数据的合法性、完整性和真实性；
e）应采取脱敏、加密等技术或管理措施确保采集过程中涉及的个人信息和重要数据不被泄露：5
GY/T339.1—2020
f）应对数据采集行为进行权限管理。9.3数据传输环节
要求如下：
a）应对敏感数据进行加密传输：b）宜对重要数据进行加密传输。9.4，数据接入平台环节
要求如下：
a）应建立数据采集终端/网关接入平台的身份识别与鉴别策略、权限分配策略和相关操作规程，建立访问控制时效管理机制：
b）应具备数据接入的安全审计功能。9.5数据存储环节
要求如下：
应采取余存储或多副本存储措施，确保数据的可用性：a）
应采取校验等检验和容错技术措施，确保多副本数据存储的一致性；c)
宜具备数据归档离线存储功能：d）
应确保存储技术架构具备加密敏感数据、重要数据的能力。9.6数据处理环节
数据处理发生在大数据平台内部，要求如下：a）应确保处理过程中发生数据迁移、变换时的真实性、完整性和一致性；b）应确保数据处理过程操作行为可审计，数据质量可溯源，重要数据受保护。9.7数据开放环节
要求如下：
a）应建立应用系统接入平台的身份识别与鉴别策略、权限分配策略和相关操作规程，建立访问控制时效管理机制：
应建立应用系统访问平台数据、服务的控制策略：b）
应具备数据交换、共享、发布的安全审计功能。c
9.8接口安全
要求如下：
应制定数据服务接口安全控制策略，明确规定使用服务接口的安全措施，如身份鉴别、授权策a)
略、访问控制机制、签名、时间戳、安全协议等；b)
应制定数据服务接口安全规范，包括接口名称、接口参数、对接安全要求等，具备限制或过滤不安全参数的能力：
应具备数据服务接口访问审计功能：宜在数据采集终端与平台、平台与应用系统间采用安全通道或加密通道进行接口调用。9.9有线电视网络用户个人信息隐私保护6
小提示：此标准内容仅展示完整标准里的部分截取内容，若需要完整标准请到上方自行免费下载完整标准文档。