ICS 35.240
中华人民共和國国国家标准國
GB/T38675—2020
信息技术
大数据计算系统通用要求
Information technology-General requirements for big data computing systems2020-04-28发布
国家市场监督管理总局
国家标准化管理委员会
2020-11-01实施
2规范性引用文件
3术语和定义
缩略语
5硬件要求
硬件组成
计算单元
计算加速单元
存储单元
高速互联单元
管理监控单元
供电单元
结构及散热单元
6软件要求
软件组成www.bzxz.net
6.2操作系统
虚拟化软件
6.4资源管理软件
6.5通信管理软件
7网络要求
安全要求
GB/T 386752020
本标准按照GB/T1.1—2009给出的规则起草。GB/T38675—2020
请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任本标准由全国信息技术标准化技术委员会(SAC/TC28)提出并归口。本标准起草单位：浪潮电子信息产业股份有限公司、中国电子技术标准化研究院、北京华胜天成科技股份有限公司、浪潮软件集团有限公司、上海计算机软件技术开发中心、勤智数码科技股份有限公司、平安科技（深圳)有限公司、内蒙古大学、中国铁道科学研究院集团有限公司、浙江蚂蚁小微金融服务集团股份有限公司、北京百分点信息科技有限公司。本标准主要起草人：赵江、苏志远、卫凤林、张群、李瑛、梁钢、黄先芝、李国涛、陈敏刚、陈文捷、李正、韩梅、李华、马小宁、吴艳华、赵正阳、李克鹏、孙伟。Ⅲ
1范围
信息技术大数据计算系统通用要求本标准规定了大数据计算系统的硬件、软件、网络及安全要求。本标准适用于大数据计算系统的开发、设计和运维。2规范性引用文件
GB/T38675—2020
下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T21028
信息安全技术服务器安全技术要求GB/T35295—2017信息技术大数据术语3术语和定义
GB/T35295—2017界定的以及下列术语和定义适用于本文件。3.1
大数据计算系统
big data computing systems
为大数据系统的存储、处理、分析应用提供基础计算支撑的软硬件系统。4缩略语
下列缩略语适用于本文件。
API：应用程序接口(ApplicationProgrammingInterface)ASIC：专用集成电路(ApplicationSpecificIntegrated Circuit)CPU：中央处理器(CentralProcessingUnit)DDR：双倍数据速率(DoubleDataRate)FC：卡套式连接器(FerruleConnector)）FPGA：现场可编程门阵列(FieldProgrammableGateArray）GPU：图形处理器(GraphicsProcessingUnit)HDD:硬盘驱动器(HardDiskDrive)IPoIB:infiniband上的网络协议(InternetProtocoloverInfiniBand)isCSI：小型计算机系统间网络接口(InternetSmallComputerSystems Interface)NAS：网络附属存储(NetworkAttachedStorage)NFS:网络文件系统(NetworkFileSystem)PB：拍字节(PetaByte）
PCle：高速串行计算机扩展总线标准(PeripheralComponentInterconnectexpress）QoS：服务质量(Qualityof Service)RDMA：远程数据存取(RemoteDirectMemoryAccess）REST：表述性状态转移(Representational StateTransfer）GB/T 38675—2020
SAS：小型计算机系统串行连接接口(SerialAttachedSCSI)SATA：串行高技术配置接口(SerialAdvancedTechnologyAttachment)SCSI:小型计算机系统接口(SmallComputerSystem Interface)SSD:固态硬盘(Solid StateDrives)TCP：传输控制协议(TransmissionControl
TCP/IP：互联网协议(TransmissionControl5硬件要求
5.1硬件组成
Protocol)
Protocol/InternetProtocol)
大数据计算系统硬件部分包括计算单元、计算加速单元、存储单元、高速互联单元、管理监控单元、供电单元和结构及散热单元。
5.2计算单元
计算单元要求如下：
应有相应措施保证可用性；
应支持多处理器；
应支持硬件状态监控管理、远程管理：应支持系统内部部件扩展；
应支持多种虚拟化方式；
应支持在停止运行情况下，配置虚拟机的内存数量；应支持在停止运行情况下，配置扩展内存数量：每节点内存应不低于8GB；
应支持扩展DDR3、DDR4或以上内存版本标准：宜支持内存查错/纠错；
宜支持内存镜像/热备；
宜支持PB以上的读写能力；
宜支持系统外部节点扩展；
宜支持在正常运行的情况下横向及纵向在线扩展：宜支持混合内存架构。
5.3计算加速单元
计算加速单元要求如下：
a）应提供专用计算资源，协助计算单元进行运算处理：b)
应提供大数据应用加速的专用计算资源，专用计算资源应支持通过高速互联单元与计算单元连接；
示例：GPU加速单元、FPGA加速单元、ASIC加速单元等。应具备多线程并发、流水线等模式的计算处理能力；c)
应具备独立内存控制器，提供用于加速计算任务的独立内存空间：d)
应具备高速总线接口与主处理器互连；运行在计算模块上的主程序应能够配置、使用、管理计算加速单元上的硬件计算资源运行在计算模块上的主程序与计算加速单元之间应具有高效的数据交换协议，包括与主CPU内存地址之间的映射关系；
应支持加速单元扩展，接口类型如PCIe等：2
i）宜支持提供批量部署工具，实现固件升级、生效、证书管理等功能，5.4存储单元
存储单元要求如下：
应提供对象、文件、块等多种存储服务方式的一种或多种；a
GB/T38675—2020
应支持REST、NFS、Samba、iSCSI、定制API等存储访问协议或接口的一种或多种：应支持存储半结构化数据、结构化数据、非结构化数据等数据类型的一种或多种；d）应提供用户数据余存储功能；宜支持分层或分级存储方式；
宜支持压缩、重删、缓存加速、配额、QoS等高级特性；f
应支持存储节点级动态扩展伸缩及存储数据再均衡；应支持在线扩展SATA、SAS、PCle接口SSD、HDD等，支持热插拔；h)
宜支持扩展连接FC、iSCSI、NAS等协议的存储系统：应支持在停止运行情况下，扩展内存的数量；k）
宜支持在线升级；
宜支持PB以上的读写能力；
可用性应有相应措施保证；
应配置企业级硬盘，以保证可靠性；n）
应支持故障硬盘的数据重构。
5.5高速互联单元
高速互联单元要求如下：
应提供计算单元、存储单元与计算加速单元之间的互联；a)
应提供本地计算加速单元中不同加速卡之间的互联：b)
应支持TCP/IP等网络协议实现节点之间的互联：c)
宜支持IPoIB、RDMA等协议实现节点之间的高速互联：应支持节点之间至少百兆网络的连接；e)
应支持在停止运行情况下，扩展的计算单元、存储单元、计算加速单元之间实现互联：f
支持1Gbps以上带宽；
支持基于网络芯片硬件的数据传输或交换加速功能：网络端口聚合功能，满足系统对网络带宽的需求，同时可以提高系统可用性。5.6管理监控单元
管理监控单元要求如下：
应提供对硬件部分部件运行状态部分参数的监控功能，如CPU温度、电源电压、风扇转速等；a）
应提供计算单元和计算加速单元使用率的监控功能；c
应提供存储单元总容量与使用率的监控功能；应提供网络流量、网络读写速率的监控功能；d)
应支持远程登录控制台，监控系统运行状态；应具备精确故障警告；
应具备硬件使用超过阈值的警告功能；应支持远程外设挂载与程序安装功能；应支持系统的日志记录与日志查询；应支持系统远程日常维护。
GB/T386752020
5.7供电单元
供电单元要求如下：
应具备电源穴余控制功能，具备在局部故障时提供电源的能力；a)
电源模块设计支持热插拔，热更换；c)
应具备故障报警，并将运行状态提供给监控系统；应具备加电时序控制功能；
应具备电源负载动态调整技术；应支持机柜级别集中供电：
应支持N+N或N+M电源亢余模式，5.8结构及散热单元
结构及散热单元要求如下：
散热方式应支持风冷方式，宜支持液冷及传导散热方式散热效率应由传感器监控，在管理监控单元中可见；b)
应采用模块化设计；
应采用集中散热技术；
风扇应支持免工具热插拔；
应支持前进风、后出风。
6软件要求
6.1软件组成
大数据计算系统软件部分包括操作系统、虚拟化软件、资源管理软件和通信管理软件6.2操作系统
操作系统要求如下：
应支持主流的操作系统类型和主要版本；应提供操作系统自动化批量部署能力；b)
应提供人机操作界面；
应支持计算加速单元及驱动程序，提供标准化的编程接口；应提供系统和设备运行日志及监控信息；应提供大数据系统各种组件所需的运行环境：宜具备处理器故障隔离支持功能6.3虚拟化软件
虚拟化软件要求如下：
应支持对计算、存储、网络等物理设备资源的虚拟化，能够以虚拟机形式为大数据系统部署和运行提供资源：
宜支持基于策略的虚拟机动态调度；宜支持能够根据虚拟机和物理服务器的资源利用率实现虚拟机的动态迁移：宜支持多个虚拟机批量操作的能力；宜支持将虚拟存储卷从虚拟机上卸载，并在保证安全的情况下正常删除虚拟存储卷；宜支持虚拟化高可用，保证在物理服务器岩机后，虚拟机可迁移到其他物理机上；g）宜支持虚拟机模板，以加快大数据各组件的部署；h)
宜支持虚拟机的CPU、内存、磁盘的扩容或缩容：宜支持虚拟机网卡、磁盘的QoS；i）
GB/T38675—2020
宜支持虚拟化资源的超售比配置，以最大化利用物理资源支撑大数据业务的运行；1
k）宜支持存储虚拟化多副本策略。6.4资源管理软件
资源管理软件要求如下：
应支持对虚拟机资源的监控管理；应支持对虚拟机资源的安全管理，包括但不限于权限管理、访问控制等b)
应支持根据工作负载进行动态资源调配，为大数据系统的任务类型和调度队列提供资源分配c)
能力：
应提供部署和监控代理软件，按照标准接口向大数据系统提供资源运行状况的相关信息以及d)
执行各种监控任务；
e）宜提供支持多种资源模式的自动部署工具，用于自动向基础设施添加新的物理或虚拟资源；示例：裸机、虚拟机、云服务
f）宜支持多种资源的统一管理及池化。6.5通信管理软件
通信管理软件要求如下：
应提供标准化的消息和通信接口，支持可靠的数据队列、传送和接收数据；a)
b）应支持点对点和存储转发模型；应支持通过发布/订阅模式对基础设施各类资源的运行数据进行收集和传输；c
应支持不同通信协议用于不同类型数据的传送；示例：TCP用于结构化数据、non-TCP用于视频、图像等大文件。应支持对传输数据的加密和解密。e
7网络要求
网络要求如下：
a）网络应具备高可用能力，包括路径多样性、具备故障转移能力；b）应能够应对网络拥塞，网络设计避免拥塞点以应对高流量的要求：网络应具备较高的一致性，保障大数据系统并行处理要求；c)
d）网络应具备可伸缩性，应能够平稳地扩展支持未来的部署规模：e）网络应具备隔离性，保证不同大数据业务集群流量互不影响。8安全要求
大数据计算系统安全应符合GB/T21028的要求，计算系统宜不低于第3级要求。