GB/T 38675-2020信息技术 大数据计算系统通用要求

ICS 35.240 L67 GB 中华人民共和国国家标准 GB/T 38675-2020 信息技术 大数据计算系统通用要求 Information technology — General requirements for big data computing systems 2020-04-28发布 2020-11-01实施 国家市场监督管理总局 国家标准化管理委员会 发布 前言 本标准按照GB/T 1.1—2009给出的规则起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本标准由全国信息技术标准化技术委员会（SAC/TC28）提出并归口。 本标准起草单位：浪潮电子信息产业股份有限公司、中国电子技术标准化研究院、北京华胜天成科技股份有限公司、浪潮软件集团有限公司、上海计算机软件技术开发中心、勤智数码科技股份有限公司、平安科技（深圳）有限公司、内蒙古大学、中国铁道科学研究院集团有限公司、浙江蚂蚁小微金融服务集团股份有限公司、北京百分点信息科技有限公司。 本标准主要起草人：赵江、苏志远、卫凤林、张群、李瑛、梁钢、黄先芝、李国涛、陈敏刚、陈文捷、李正、韩梅、李华、马小宁、吴艳华、赵正阳、李克鹏、孙伟。 1 范围 本标准规定了大数据计算系统的硬件、软件、网络及安全要求。 本标准适用于大数据计算系统的开发、设计和运维。 2 规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 GB/T 21028 信息安全技术 服务器安全技术要求 GB/T 35295-2017 信息技术 大数据术语 3 术语和定义 GB/T 35295—2017界定的以及下列术语和定义适用于本文件。 3.1 大数据计算系统 big data computing systems 为大数据系统的存储、处理、分析应用提供基础计算支撑的软硬件系统。 4 缩略语 下列缩略语适用于本文件。 API：应用程序接口 (Application Programming Interface) ASIC：专用集成电路 (Application Specific Integrated Circuit) CPU：中央处理器 (Central Processing Unit) DDR：双倍数据速率 (Double Data Rate) FC：卡套式连接器 (Ferrule Connector) FPGA：现场可编程门阵列 (Field Programmable Gate Array) GPU：图形处理器 (Graphics Processing Unit) HDD：硬盘驱动器 (Hard Disk Drive) IPoIB：infiniband上的网络协议 (Internet Protocol over InfiniBand) iSCSI：小型计算机系统间网络接口 (Internet Small Computer Systems Interface) NAS：网络附属存储 (Network Attached Storage) NFS：网络文件系统 (Network File System) PB：拍字节 (PetaByte) PCIe：高速串行计算机扩展总线标准 (Peripheral Component Interconnect express) QoS：服务质量 (Quality of Service) RDMA：远程数据存取 (Remote Direct Memory Access) REST：表述性状态转移 (Representational State Transfer) SAS：小型计算机系统串行连接接口 (Serial Attached SCSI) SATA：串行高技术配置接口 (Serial Advanced Technology Attachment) SCSI：小型计算机系统接口 (Small Computer System Interface) SSD：固态硬盘 (Solid State Drives) TCP：传输控制协议 (Transmission Control Protocol) TCP/IP：互联网协议 (Transmission Control Protocol/Internet Protocol) 5 硬件要求 5.1 硬件组成 大数据计算系统硬件部分包括计算单元、计算加速单元、存储单元、高速互联单元、管理监控单元、供电单元和结构及散热单元。 5.2 计算单元 计算单元要求如下： a) 应有相应措施保证可用性； b) 应支持多处理器； c) 应支持硬件状态监控管理、远程管理； d) 应支持系统内部部件扩展； e) 应支持多种虚拟化方式； f) 应支持在停止运行情况下，配置虚拟机的内存数量； g) 应支持在停止运行情况下，配置扩展内存数量； h) 每节点内存应不低于8GB； i) 应支持扩展DDR3、DDR4或以上内存版本标准； j) 宜支持内存查错/纠错； k) 宜支持内存镜像/热备； l) 宜支持PB以上的读写能力； m) 宜支持系统外部节点扩展； n) 宜支持在正常运行的情况下横向及纵向在线扩展； o) 宜支持混合内存架构。 5.3 计算加速单元 计算加速单元要求如下： a) 应提供专用计算资源，协助计算单元进行运算处理； b) 应提供大数据应用加速的专用计算资源，专用计算资源应支持通过高速互联单元与计算单元连接； 示例：GPU加速单元、FPGA加速单元、ASIC加速单元等。 c) 应具备多线程并发、流水线等模式的计算处理能力； d) 应具备独立内存控制器，提供用于加速计算任务的独立内存空间； e) 应具备高速总线接口与主处理器互连； f) 运行在计算模块上的主程序应能够配置、使用、管理计算加速单元上的硬件计算资源； g) 运行在计算模块上的主程序与计算加速单元之间应具有高效的数据交换协议，包括与主CPU内存地址之间的映射关系； h) 应支持加速单元扩展，接口类型如PCIe等； i) 宜支持提供批量部署工具，实现固件升级、生效、证书管理等功能。 5.4 存储单元 存储单元要求如下： a) 应提供对象、文件、块等多种存储服务方式的一种或多种； b) 应支持REST、NFS、Samba、iSCSI、定制API等存储访问协议或接口的一种或多种； c) 应支持存储半结构化数据、结构化数据、非结构化数据等数据类型的一种或多种； d) 应提供用户数据冗余存储功能； e) 宜支持分层或分级存储方式； f) 宜支持压缩、重删、缓存加速、配额、QoS等高级特性； g) 应支持存储节点级动态扩展伸缩及存储数据再均衡； h) 应支持在线扩展SATA、SAS、PCIe接口SSD、HDD等，支持热插拔； i) 宜支持扩展连接FC、iSCSI、NAS等协议的存储系统； j) 应支持在停止运行情况下，扩展内存的数量； k) 宜支持在线升级； l) 宜支持PB以上的读写能力； m) 可用性应有相应措施保证； n) 应配置企业级硬盘，以保证可靠性； o) 应支持故障硬盘的数据重构。 5.5 高速互联单元 高速互联单元要求如下： a) 应提供计算单元、存储单元与计算加速单元之间的互联； b) 应提供本地计算加速单元中不同加速卡之间的互联； c) 应支持TCP/IP等网络协议实现节点之间的互联； d) 宜支持IPoIB、RDMA等协议实现节点之间的高速互联； e) 应支持节点之间至少百兆网络的连接； f) 应支持在停止运行情况下，扩展的计算单元、存储单元、计算加速单元之间实现互联； g) 支持1Gbps以上带宽； h) 支持基于网络芯片硬件的数据传输或交换加速功能； i) 网络端口聚合功能，满足系统对网络带宽的需求，同时可以提高系统可用性。 5.6 管理监控单元 管理监控单元要求如下： a) 应提供对硬件部分部件运行状态部分参数的监控功能，如CPU温度、电源电压、风扇转速等； b) 应提供计算单元和计算加速单元使用率的监控功能； c) 应提供存储单元总容量与使用率的监控功能； d) 应提供网络流量、网络读写速率的监控功能； e) 应支持远程登录控制台，监控系统运行状态； f) 应具备精确故障警告； g) 应具备硬件使用超过阈值的警告功能； h) 应支持远程外设挂载与程序安装功能； i) 应支持系统的日志记录与日志查询； j) 应支持系统远程日常维护。 5.7 供电单元 供电单元要求如下： a) 应具备电源冗余控制功能，具备在局部故障时提供电源的能力； b) 电源模块设计支持热插拔，热更换； c) 应具备故障报警，并将运行状态提供给监控系统； d) 应具备加电时序控制功能； e) 应具备电源负载动态调整技术； f) 应支持机柜级别集中供电； g) 应支持N+N或N+M电源冗余模式。 5.8 结构及散热单元