LS∕T 1820-2018
基本信息
标准号： LS∕T 1820-2018
中文名称：粮食大数据资源池设计规范
标准类别：粮食行业标准(LS)
标准状态：现行
出版语种：简体中文
下载格式：.rar .pdf
下载大小：12113KB
标准分类号
关联标准
出版信息
相关单位信息
标准简介
LS∕T 1820-2018 粮食大数据资源池设计规范
LS∕T1820-2018
标准压缩包解压密码：www.bzxz.net
标准图片预览
标准内容
ICS35.240.99
中华人民共和国粮食行业标准
LS/T1820—2018
粮食大数据资源池设计规范
Specification for grain big data resource pool2018-01-08发布
国家粮食局
2018-03-01实施
规范性引用文件
术语和定义
总体要求
层次结构
数据构成
数据描述
数据接口
数据模型与存储体系
数据安全
备份与恢复·
可扩展性
资源池管理
运行环境
设计指标
附录A（规范性附录）
附录B（资料性附录）
参考文献
元数据内容
元数据值域代码
LS/T1820—2018
本标准按照GB/T1.1一2009给出的规则起草。本标准由国家粮食局提出。
本标准由全国粮油标准化技术委员会（SAC/TC270）口。本标准起草单位：南京财经大学、国家信息中心。本标准主要起草人：张璐、伍之昂、曹杰、中冬琴、雷涛、林曦、徐枫、宦茂盛LS/T1820—2018
LS/T1820—2018
随着粮食生产、流通、仓储等各环节中信息技术的广泛应用，各级粮食主管单位、各大型粮油仓储企业建设和运营的粮食信息化系统中积累了大量高价值的粮食信息数据资源。然而，这些宝贵的粮食数据资源分散于各种应用系统中，被此结构不同，无法融合共享，存在数据重复和冲突等现象，并且访问接口众多，数据获取困难，难以直接服务于各种业务。粮食大数据资源池目在汇聚和集成各粮食信息系统中的数据，建立数据丰富、格式规范、存储安全、访问高效的数据资源平台，以支撑基于大数据的各种粮食信息化服务。本标准的制定将规范粮食大数据资源池的规划、设计开发、部署及应用。V
-TTKAONIKAca
1范围
粮食大数据资源池设计规范
LS/T1820—2018
本标准规定了粮食大数据资源池设计的总体要求、层次结构、数据构成、数据描述、数据接口、数据模型与存储体系、数据安全、备份与恢复、可扩展性、资源池管理、运行环境、设计指标等。本标准适用于粮食大数据资源池的规划、设计、开发、应用、培训和运行维护，支持与粮食行业其他信息系统的互联互通。
规范性引用文件
下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T2260中华人民共和国行政区划代码GB/T2659世界各国和地区名称代码GB/T2887计算机场地通用规范
GB/T4880（所有部分）语种名称代码GB/T7408数据和交换格式信息交换日期和时间表示法计算机信息系统安全保护等级划分准则GB17859
GB/T 20273
GB/T22239
信息安全技术数据库管理系统安全技术要求信息安全技术信息系统安全等级保护基本要求GB/T22240
信息安全技术信息系统安全等级保护定级指南GB/T26882.1www.bzxz.net
粮油储藏粮情测控系统第1部分：通则地理信息基于坐标的空间参照
GB/T30170
GB50174数据中心设计规范
LS/T1708.2粮食信息分类与编码粮食加工第2部分：技术经济指标分类与代码粮食信息分类与编码财务会计分类与代码LS/T1711
LS/T1712
粮食信息分类与编码粮食贸易业务统计分类与代码LS/T1713—2015库存粮食识别代码LS/T1802
LS/T1806
LS/T1807
术语和定义
粮食仓储业务数据元
粮食信息系统网络设计规范
粮食信息安全技术规范
下列术语和定义适用于本文件。3.1
粮食大数据资源池grainbigdataresourcepool汇聚和集成各种粮食相关数据，提供安全、可靠、高效的数据存储，并对外提供粮食数据服务的资源平台。3.2
结构化数据
structural data
-TTKAONTKAca
LS/T1820—2018
能够组织成行列结构，可识别的数据。通常是一条记录，或者是被正确标记过的数据中的某一个字段，并且能够被精确地定位到。3.3
非结构化数据unstructureddata不具备统一的结构，不方便用二维逻辑表来表现的数据，包括文本、图像、声音、网页等。3.4
元数据metadata
关于数据的数据。
metadataelement
元数据元素
元数据最基本的信息单元，每一个元数据元素都用一个包含若手属性的集合来描述。3.6
复合元素
compound data element
由若干元数提素，或者元数据元素与其他复合元素，或者若干其他复合元素共同组成的元数据元素，通常用来表承较高层次的概念。3.7
数据类型
datatype
对数据的有效值域及对该值域中的值所充许的操作的规定倒如数值型布尔型、日期类型、文本类型、复合类型等
数据集
dataset
由相关数据组成的再标识集，
，是元数据的描述对象
datasettype
数据集类型
根据数据集的结构或资源特征对数据集所维的类型划分3.10
entity
按一定结构组织起来的数据的集合，其结构可用一组属性来刻画。3.11
分布式文件系统distributedfilesystem管理的物理存储资源分布于若于节点且节点间通过计算机网络相连的文件系统。3.12
横向扩展scale-out
通过增加新设备而非升级设备部件的方式提升系统处理能力的方法。4总体要求
粮食大数据资源池规划、设计、开发和部署应满足以下要求：满足部门业务需求；
具有可操作性、可靠性和可用性；具有可持续性和可扩展性：
将数据保密和安全作为高优先项；d
履行验证和授权功能；
数据安全应与资源池建设同步考虑；-TKAONIKAca
g）基于开放的行业标准和采用成熟的主流技术；h）资源池管理责任机制由主管、建设和运维单位相应确定；LS/T1820—2018
资源池各类技术与设备的选用应遵循经济性要求，满足当前及未来一定时间内需求的前提下，宜选择性价比最好的设备及技术。5层次结构
粮食大数据资源池应以云平台的方式建立并提供服务，平台分为两级：国家级资源池和省级资源池，对应的要求如下：
国家级资源池对接国家级粮食信息系统，为省级资源池的上级平台，接收米自省级资源池中的a)
数据，汇集全国范围内的粮食数据资源。省级资源池对接省级粮食信息系统，汇集本省粮食数据，为国家级资源池的下级平台，定期将b）
数据同步至国家级资源池中。涉粮央企的粮食大数据资源池可比照省级资源池设置。各级资源池提供其对应范围内的数据服务，在下级资源池中数据满足服务需求时，应首先使用c
下级资源池服务。
6数据构成
6.1通则
粮食大数据资源池应汇集粮食生产、收购、仓储、加工、销售等过程中的各种相关数据，与粮食有关的宏观经济数据、管理数据，以及互联网公众舆情等数据。资源池中应包含但不限于6.2～6.10所规定的数据类别。
资源池中的数据既包含结构化数据，也包含非结构化数据，如文本、图片、音视频等，资源池应支持上述数据的存储与管理，并针对未来可能产生的新型粮食数据提供足够的扩展能力。6.2粮食生产数据
6.2.1物料数据
种植粮食所使用的物料的使用记录，如种子种类、来源、数量、生产批次，农药编码、农药名称、生产商、供应商、数量，肥料编码、名称、生产商、供应商、数量等数据。6.2.2田间环境数据
田间种植环节的环境参数，如水（高度、水质）、空气（温度、湿度、CO，浓度、光照）、土壤（湿度、pH）等数据。
6.2.3产量统计数据
全国及各地区耕地面积、农作物播种面积、粮食播种面积、粮食总产量、粮食商品量、粮食平均亩产等信息。
6.3粮食收购数据
粮食补贴数据、粮食收购主体构成、粮食收购数量、质量、收购进度、检验结果、收购凭证、国有企业收购量、政策性粮食收购量等执行情况信息，以及LS/T1713一2015中D.4关联信息表所包含的收购信息数据。
-iKAoNiKAca
LS/T1820—2018
6.4粮食仓储数据
6.4.1基本信息数据
LS/T1802中粮食仓储业务数据元分类表中的基本信息数据。6.4.2粮食出入库数据
LS/T17132015中D.4关联信息表所包含的库存信息数据。6.4.3仓储作业数据
降水时间、方法，熏蒸时间、药剂、浓度，通风时间，仓库温度、湿度、水分、氧气、二氧化碳、磷化氢、储粮害虫及螨类等信息，以及LS/T1802中仓储作业信息数据元所包含的数据。6.4.4粮情测控数据
LS/T1802中粮情检测数据元所包含的数据，以及GB/T26882.1中规定的粮情测控系统设备的运行记录。
6.4.5仓储账目数据
各粮库粮食进出库、保管以及清仓查库过程中涉及的账目数据，包括：账本、统计报表、统计台账、原始凭证、粮库保管账统计表、会计账，银行资金账等数据6.4.6仓储视频数据
粮仓视频监控系统产生的视频数据。5粮食加工数据
加工企业信息，加工生产线编码、名称、加工产品名称，产品规格，加工数量，加工时间，检测时间，检验结论，检验员，产品生产日期等数据，以及LS/T1708.2所包含的加工指标的完成情况数据。6.6粮食销售数据
6.6.1粮食市场数据
粮食销售总量、国有企业销售量、政策性粮食竞价交易数据、终端市场价格、主要粮食制品价格等数据。
6.6.2粮食消费信息
粮食消费总量、人均消费量、工业用粮、饲料用粮、种子用粮等数据。6.6.3粮食贸易数据
LS/T1712中包含的粮食零售相关数据。6.7粮食运输数据
粮食的出发地、目的地，运输过程中的车辆轨迹，运输过程中粮食存放环境、时间，操作人员，通过RFID出入库系统检测的粮食货位号、运输工具编号、吨粮袋号、地磅计量信息等数据。4
-TKAONIKAca
6.8宏观粮食数据
6.8.1宏观统计数据
LS/T1820—2018
产量大县、粮食质量指标、人口总数、地区产值、地区财政收人、城镇居民人均可支配收入、农民人均纯收人等基本信息。
6.8.2粮食库存数据
国有及非国有粮食经营企业库存、粮食转化企业库存、农户存粮、城镇居民存粮等数据。6.8.3国际市场数据
LS/T1712中包含的粮食进出口数据、主要国家经济指标、粮食期货指数、现货价格、国际主要粮食制品价格、世界银行农业相关数据、国际粮农组织相关数据、美国农业部相关数据等。6.8.4宏观调控信息
粮食政策法规，粮食供需平衡预测，粮食综合生产能力评价，储备粮轮换计划编制信息等数据。6.9粮食管理数据
6.9.1涉粮企业信息
全国粮食仓储企业、粮食加工企业等信息。6.9.2行政许可业务管理信息
粮食收购资格许可、储备粮承储资格许可、仓储单位备案、熏蒸作业备案、经纪人备案、质量追溯等数据。6.9.3粮食财务数据
LS/T1711中所包含的粮食财务会计数据。6.10其他外部数据
其他涉及粮食行业的外部互联网数据，包括各种与粮食相关的新闻报道、公众话题等。7数据描述
7.1通则
粮食大数据资源池中的数据应通过元数据对其组织结构、管理信息、访问信息等内容进行描述。元数据的描述对象为数据集，描述内容参见7.2，应包含数据集描述信息、数据集分发与服务信息、结构描述信息3个必选模块，以及范围信息、联系信息2个可选辅助模块元数据元素的属性参见7.3，应包含中文名称、英文名称、标识、定义、类型、值域、可选性、最大出现次数、注释等9个属性。
7.2元数据内容
7.2.1数据集描述信息
数据集描述信息模块为必选模块，可引用“范围信息”“联系信息”两个辅助模块中的内容数据集描述信息模块应记录数据集的基本信息。利用数据集描述信息模块中的元数据元索，能够5
LS/T1820—2018
对数据集本身的基本属性信息进行详细描述，例如数据集名称、分类、创建者、摘要、来源、所采用的语言等，数据集用户能够通过浏览这些描述信息对数据集形成一个总体了解。数据集措述信息包含的元数据元素见附录A的A.1。7.2.2数据集分发与服务信息
数据集分发与服务信息为必选模块，可引用“联系信息”辅助模块中的内容。数据集分发与服务信息模块应记录与数据集发行、获取及提供服务有关的信息，主要包括数据格式、使用数据集的技术要求、收费策略、权限声明、订购指南、联系信息等内容。数据集分发与服务信息模块还应记录与数据集相关的服务的标识信息，以及详细的服务元数据信息，该模块用于在数据集与相关服务之间建立连接。
数据集分发与服务信息包含的元数据元素见A.2。7.2.3结构描述信息
结构描述信息为必选模块。
结构描述信息模块应记录数据集所包含实体的结构的有关信息，包括实体基本信息、属性信息、约束条件等内容。实体结构信息可包括关系型数据库中的数据表及其属性信息，以及数据字典中的信息。对于不通过关系型数据库管理，但具备关系数据库表格类似特征的实体，也可通过此模块来描述，例如具有明确学段或键的文档数据库和文本文件等。结构描述信息包含的元数据元素见A.3。7.2.4范围信息
范围信息为辅助模块，不得单独使用，而应被必选模块的有关元素引用。范围信息模块应记录数据集内容所涉及的分类、时间和空间范围的信息范围信息包含的元数据元素见A47.2.5联系信息
联系信息为辅助模块，不得单独使用，而应被必选模块的有关元素引用。联系信息模块应记录与数据集有关的个人和组织的联系信息。联系信息包含的元数据元素见A.5。7.3
元素属性
元数据元素（包括复合元素和数据元素）由包含9个属性的集合描述，集合包含的属性见表1。表1元素属性
属性名称
中文名称
英文名称
可选性
元素的中文名称
元素的英文名称
用字符串表示的元素标识
对元素含义的解释
元素所属的数据类型，见表2
元素值的允许范围，自由文本表示无限制说明
元素是必选元素还是可选元素，可以的值包括：M（必选）或O（可选）8
属性名称
最大出现次数
数据类型
二进制
数据接口
数据获取接口
表1（续）
LS/T18202018
元素所允许的出现次数，只出现一次用“1”表示。重复出现用“N”表示。不为1的固定出现次数可用相应的数字表示，如“2”“3\“4”。不出现用“0”或“NULL”表示对元素的补充说明、建议及其他表2数据类型
自由文本，表明对数据项（字段）的内容没有限制通过数值的形式表达值的类型，包括整数和实数等以年月日时分秒的形式表达的值的类型，参见GB/T7408两个而且只有两个表明条件的值，如True或False，1或0通过二进制格式存储对象，如图片、音额、视频等由若干数据类型组成，或具有特定值的枚举类型数据获取接口主要用于收集数据。在权限范围内，数据获取接口应支持通过如下方式收集数据：粮食信息系统API；
传感设备：
网络爬虫；
人工录人。
数据访问接口
数据访问接口用于对外提供数据访问服务。数据访间接口应支持如下访问方式：数据库连接访问；
中间件访间；
Webservicc标准接口；
RestfulAPI;
-FTP文件下载；
第三方软件访问，采用此种方式时，应提供具体的接口访问协议说明和数据格式。8.3数据同步接口
数据同步接口在国家级和省级资源池间同步数据。省级资源池应定期通过同步接口向国家级资源池推送更新数据。数据同步接口应支持数据的增量更新，支持数据的压缩和加密传输。数据应封装为多个单元进行传输，每个传输单元的数据量不宜超过5MB。9
数据模型与存储体系
数据模型
粮食大数据资源池中的数据应采用合理的存储模型进行组织。资源池应至少支持关系模型、键值7
LS/T 1820—2018
模型、列存储模型、文档模型和图模型5种数据组织和存储模型，不同类型的数据宜采用的存储模型如下：
结构化数据宜采用关系模型组织；a
具有明确键值对的非结构化数据宜采用键值模型组织：b）
面向分析型查询，需要高效压缩和I/O效率的数据宜采用列存储模型组织；大段文本，或具有嵌套环结构的数据宜采用文档模型组织；d)
具有或能够抽象为明确的点边结构的数据宜采用图模型组织。9.2存储体系
9.2.1通则
粮食大数据资源池应提供服务器本地存储与专用存储设备相结合的存储体系，存储介质应以磁盘为主，支持磁盘阵列，可铺以固态硬盘对高频访问数据进行加速。各种粮食数据应根据其访问频率和安全性要求存放于合适的存储位置：服务器本地磁盘存储实时、高频访问的业务数据，宜采用分片方式使数据访间与存储能够在同a)
一台服务器上进行，降低网络I/O开销。外置专用存储设备存储备份数据存储设备应支持对数据进行定时、增量式的备份，并支持将b)
备份数据导人业务系统。
不同来源的粮食数据具有不同的格式和存储要录，粮食人数据资源池应建立混合存储体系，包含关系型数据库、分布式文件系统内存数据库、缓存数据库键值数据库图数据库、多媒体数据库、数据索引等。
关系型数据库
关系型数据库主要用手结构化数据的存储，立支持分布式部害并能够利用固态硬盘进行重要数据的随机读写加速
9.2.3分布式文件系统
分布式文件系统用于存储大文件数据。分布式文件系统中的存储节点应通过以太网互联，能够屏蔽底层细节，提供统一透明的文件存取和数据管理功能。分布式文件系统不得依赖于具体的操作系统，应支持数据分央和自动复制，不得产生单点失效，应支持层级结构（目录树），具有设置并管理文件属性与访问权限的能力，具备容错功能。9.2.4内存数据库
内存数据库用于存储需要被频繁查询的粮食数据。内存数据库应能够分布式、跨平台部署，并支持数据持久化。分布式部署的内存数据库应支持主从复制、增量复制以及数据同步。9.2.5缓存数据库
缓存数据库主要对一定时间内访问过的粮食数据进行缓存，以减轻对主数据库频繁查询的压力。缓存数据库一般应将数据存储在内存中，并面向数据读取进行优化。缓存数据库应能够从不同的数据库中加载数据，但不得替代真正存放数据的各类数据库。9.2.6键-值数据库
键-值数据库主要用于存放不涉及过多数据关系和业务关系的非结构化文本数据。键-值数据库应提供直接访问键-值数据的函数，具备类似关系数据库的单表查询功能，应支持数据索的建立和数据压缩。
小提示：此标准内容仅展示完整标准里的部分截取内容，若需要完整标准请到上方自行免费下载完整标准文档。
中华人民共和国粮食行业标准
LS/T1820—2018
粮食大数据资源池设计规范
Specification for grain big data resource pool2018-01-08发布
国家粮食局
2018-03-01实施
规范性引用文件
术语和定义
总体要求
层次结构
数据构成
数据描述
数据接口
数据模型与存储体系
数据安全
备份与恢复·
可扩展性
资源池管理
运行环境
设计指标
附录A（规范性附录）
附录B（资料性附录）
参考文献
元数据内容
元数据值域代码
LS/T1820—2018
本标准按照GB/T1.1一2009给出的规则起草。本标准由国家粮食局提出。
本标准由全国粮油标准化技术委员会（SAC/TC270）口。本标准起草单位：南京财经大学、国家信息中心。本标准主要起草人：张璐、伍之昂、曹杰、中冬琴、雷涛、林曦、徐枫、宦茂盛LS/T1820—2018
LS/T1820—2018
随着粮食生产、流通、仓储等各环节中信息技术的广泛应用，各级粮食主管单位、各大型粮油仓储企业建设和运营的粮食信息化系统中积累了大量高价值的粮食信息数据资源。然而，这些宝贵的粮食数据资源分散于各种应用系统中，被此结构不同，无法融合共享，存在数据重复和冲突等现象，并且访问接口众多，数据获取困难，难以直接服务于各种业务。粮食大数据资源池目在汇聚和集成各粮食信息系统中的数据，建立数据丰富、格式规范、存储安全、访问高效的数据资源平台，以支撑基于大数据的各种粮食信息化服务。本标准的制定将规范粮食大数据资源池的规划、设计开发、部署及应用。V
-TTKAONIKAca
1范围
粮食大数据资源池设计规范
LS/T1820—2018
本标准规定了粮食大数据资源池设计的总体要求、层次结构、数据构成、数据描述、数据接口、数据模型与存储体系、数据安全、备份与恢复、可扩展性、资源池管理、运行环境、设计指标等。本标准适用于粮食大数据资源池的规划、设计、开发、应用、培训和运行维护，支持与粮食行业其他信息系统的互联互通。
规范性引用文件
下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T2260中华人民共和国行政区划代码GB/T2659世界各国和地区名称代码GB/T2887计算机场地通用规范
GB/T4880（所有部分）语种名称代码GB/T7408数据和交换格式信息交换日期和时间表示法计算机信息系统安全保护等级划分准则GB17859
GB/T 20273
GB/T22239
信息安全技术数据库管理系统安全技术要求信息安全技术信息系统安全等级保护基本要求GB/T22240
信息安全技术信息系统安全等级保护定级指南GB/T26882.1www.bzxz.net
粮油储藏粮情测控系统第1部分：通则地理信息基于坐标的空间参照
GB/T30170
GB50174数据中心设计规范
LS/T1708.2粮食信息分类与编码粮食加工第2部分：技术经济指标分类与代码粮食信息分类与编码财务会计分类与代码LS/T1711
LS/T1712
粮食信息分类与编码粮食贸易业务统计分类与代码LS/T1713—2015库存粮食识别代码LS/T1802
LS/T1806
LS/T1807
术语和定义
粮食仓储业务数据元
粮食信息系统网络设计规范
粮食信息安全技术规范
下列术语和定义适用于本文件。3.1
粮食大数据资源池grainbigdataresourcepool汇聚和集成各种粮食相关数据，提供安全、可靠、高效的数据存储，并对外提供粮食数据服务的资源平台。3.2
结构化数据
structural data
-TTKAONTKAca
LS/T1820—2018
能够组织成行列结构，可识别的数据。通常是一条记录，或者是被正确标记过的数据中的某一个字段，并且能够被精确地定位到。3.3
非结构化数据unstructureddata不具备统一的结构，不方便用二维逻辑表来表现的数据，包括文本、图像、声音、网页等。3.4
元数据metadata
关于数据的数据。
metadataelement
元数据元素
元数据最基本的信息单元，每一个元数据元素都用一个包含若手属性的集合来描述。3.6
复合元素
compound data element
由若干元数提素，或者元数据元素与其他复合元素，或者若干其他复合元素共同组成的元数据元素，通常用来表承较高层次的概念。3.7
数据类型
datatype
对数据的有效值域及对该值域中的值所充许的操作的规定倒如数值型布尔型、日期类型、文本类型、复合类型等
数据集
dataset
由相关数据组成的再标识集，
，是元数据的描述对象
datasettype
数据集类型
根据数据集的结构或资源特征对数据集所维的类型划分3.10
entity
按一定结构组织起来的数据的集合，其结构可用一组属性来刻画。3.11
分布式文件系统distributedfilesystem管理的物理存储资源分布于若于节点且节点间通过计算机网络相连的文件系统。3.12
横向扩展scale-out
通过增加新设备而非升级设备部件的方式提升系统处理能力的方法。4总体要求
粮食大数据资源池规划、设计、开发和部署应满足以下要求：满足部门业务需求；
具有可操作性、可靠性和可用性；具有可持续性和可扩展性：
将数据保密和安全作为高优先项；d
履行验证和授权功能；
数据安全应与资源池建设同步考虑；-TKAONIKAca
g）基于开放的行业标准和采用成熟的主流技术；h）资源池管理责任机制由主管、建设和运维单位相应确定；LS/T1820—2018
资源池各类技术与设备的选用应遵循经济性要求，满足当前及未来一定时间内需求的前提下，宜选择性价比最好的设备及技术。5层次结构
粮食大数据资源池应以云平台的方式建立并提供服务，平台分为两级：国家级资源池和省级资源池，对应的要求如下：
国家级资源池对接国家级粮食信息系统，为省级资源池的上级平台，接收米自省级资源池中的a)
数据，汇集全国范围内的粮食数据资源。省级资源池对接省级粮食信息系统，汇集本省粮食数据，为国家级资源池的下级平台，定期将b）
数据同步至国家级资源池中。涉粮央企的粮食大数据资源池可比照省级资源池设置。各级资源池提供其对应范围内的数据服务，在下级资源池中数据满足服务需求时，应首先使用c
下级资源池服务。
6数据构成
6.1通则
粮食大数据资源池应汇集粮食生产、收购、仓储、加工、销售等过程中的各种相关数据，与粮食有关的宏观经济数据、管理数据，以及互联网公众舆情等数据。资源池中应包含但不限于6.2～6.10所规定的数据类别。
资源池中的数据既包含结构化数据，也包含非结构化数据，如文本、图片、音视频等，资源池应支持上述数据的存储与管理，并针对未来可能产生的新型粮食数据提供足够的扩展能力。6.2粮食生产数据
6.2.1物料数据
种植粮食所使用的物料的使用记录，如种子种类、来源、数量、生产批次，农药编码、农药名称、生产商、供应商、数量，肥料编码、名称、生产商、供应商、数量等数据。6.2.2田间环境数据
田间种植环节的环境参数，如水（高度、水质）、空气（温度、湿度、CO，浓度、光照）、土壤（湿度、pH）等数据。
6.2.3产量统计数据
全国及各地区耕地面积、农作物播种面积、粮食播种面积、粮食总产量、粮食商品量、粮食平均亩产等信息。
6.3粮食收购数据
粮食补贴数据、粮食收购主体构成、粮食收购数量、质量、收购进度、检验结果、收购凭证、国有企业收购量、政策性粮食收购量等执行情况信息，以及LS/T1713一2015中D.4关联信息表所包含的收购信息数据。
-iKAoNiKAca
LS/T1820—2018
6.4粮食仓储数据
6.4.1基本信息数据
LS/T1802中粮食仓储业务数据元分类表中的基本信息数据。6.4.2粮食出入库数据
LS/T17132015中D.4关联信息表所包含的库存信息数据。6.4.3仓储作业数据
降水时间、方法，熏蒸时间、药剂、浓度，通风时间，仓库温度、湿度、水分、氧气、二氧化碳、磷化氢、储粮害虫及螨类等信息，以及LS/T1802中仓储作业信息数据元所包含的数据。6.4.4粮情测控数据
LS/T1802中粮情检测数据元所包含的数据，以及GB/T26882.1中规定的粮情测控系统设备的运行记录。
6.4.5仓储账目数据
各粮库粮食进出库、保管以及清仓查库过程中涉及的账目数据，包括：账本、统计报表、统计台账、原始凭证、粮库保管账统计表、会计账，银行资金账等数据6.4.6仓储视频数据
粮仓视频监控系统产生的视频数据。5粮食加工数据
加工企业信息，加工生产线编码、名称、加工产品名称，产品规格，加工数量，加工时间，检测时间，检验结论，检验员，产品生产日期等数据，以及LS/T1708.2所包含的加工指标的完成情况数据。6.6粮食销售数据
6.6.1粮食市场数据
粮食销售总量、国有企业销售量、政策性粮食竞价交易数据、终端市场价格、主要粮食制品价格等数据。
6.6.2粮食消费信息
粮食消费总量、人均消费量、工业用粮、饲料用粮、种子用粮等数据。6.6.3粮食贸易数据
LS/T1712中包含的粮食零售相关数据。6.7粮食运输数据
粮食的出发地、目的地，运输过程中的车辆轨迹，运输过程中粮食存放环境、时间，操作人员，通过RFID出入库系统检测的粮食货位号、运输工具编号、吨粮袋号、地磅计量信息等数据。4
-TKAONIKAca
6.8宏观粮食数据
6.8.1宏观统计数据
LS/T1820—2018
产量大县、粮食质量指标、人口总数、地区产值、地区财政收人、城镇居民人均可支配收入、农民人均纯收人等基本信息。
6.8.2粮食库存数据
国有及非国有粮食经营企业库存、粮食转化企业库存、农户存粮、城镇居民存粮等数据。6.8.3国际市场数据
LS/T1712中包含的粮食进出口数据、主要国家经济指标、粮食期货指数、现货价格、国际主要粮食制品价格、世界银行农业相关数据、国际粮农组织相关数据、美国农业部相关数据等。6.8.4宏观调控信息
粮食政策法规，粮食供需平衡预测，粮食综合生产能力评价，储备粮轮换计划编制信息等数据。6.9粮食管理数据
6.9.1涉粮企业信息
全国粮食仓储企业、粮食加工企业等信息。6.9.2行政许可业务管理信息
粮食收购资格许可、储备粮承储资格许可、仓储单位备案、熏蒸作业备案、经纪人备案、质量追溯等数据。6.9.3粮食财务数据
LS/T1711中所包含的粮食财务会计数据。6.10其他外部数据
其他涉及粮食行业的外部互联网数据，包括各种与粮食相关的新闻报道、公众话题等。7数据描述
7.1通则
粮食大数据资源池中的数据应通过元数据对其组织结构、管理信息、访问信息等内容进行描述。元数据的描述对象为数据集，描述内容参见7.2，应包含数据集描述信息、数据集分发与服务信息、结构描述信息3个必选模块，以及范围信息、联系信息2个可选辅助模块元数据元素的属性参见7.3，应包含中文名称、英文名称、标识、定义、类型、值域、可选性、最大出现次数、注释等9个属性。
7.2元数据内容
7.2.1数据集描述信息
数据集描述信息模块为必选模块，可引用“范围信息”“联系信息”两个辅助模块中的内容数据集描述信息模块应记录数据集的基本信息。利用数据集描述信息模块中的元数据元索，能够5
LS/T1820—2018
对数据集本身的基本属性信息进行详细描述，例如数据集名称、分类、创建者、摘要、来源、所采用的语言等，数据集用户能够通过浏览这些描述信息对数据集形成一个总体了解。数据集措述信息包含的元数据元素见附录A的A.1。7.2.2数据集分发与服务信息
数据集分发与服务信息为必选模块，可引用“联系信息”辅助模块中的内容。数据集分发与服务信息模块应记录与数据集发行、获取及提供服务有关的信息，主要包括数据格式、使用数据集的技术要求、收费策略、权限声明、订购指南、联系信息等内容。数据集分发与服务信息模块还应记录与数据集相关的服务的标识信息，以及详细的服务元数据信息，该模块用于在数据集与相关服务之间建立连接。
数据集分发与服务信息包含的元数据元素见A.2。7.2.3结构描述信息
结构描述信息为必选模块。
结构描述信息模块应记录数据集所包含实体的结构的有关信息，包括实体基本信息、属性信息、约束条件等内容。实体结构信息可包括关系型数据库中的数据表及其属性信息，以及数据字典中的信息。对于不通过关系型数据库管理，但具备关系数据库表格类似特征的实体，也可通过此模块来描述，例如具有明确学段或键的文档数据库和文本文件等。结构描述信息包含的元数据元素见A.3。7.2.4范围信息
范围信息为辅助模块，不得单独使用，而应被必选模块的有关元素引用。范围信息模块应记录数据集内容所涉及的分类、时间和空间范围的信息范围信息包含的元数据元素见A47.2.5联系信息
联系信息为辅助模块，不得单独使用，而应被必选模块的有关元素引用。联系信息模块应记录与数据集有关的个人和组织的联系信息。联系信息包含的元数据元素见A.5。7.3
元素属性
元数据元素（包括复合元素和数据元素）由包含9个属性的集合描述，集合包含的属性见表1。表1元素属性
属性名称
中文名称
英文名称
可选性
元素的中文名称
元素的英文名称
用字符串表示的元素标识
对元素含义的解释
元素所属的数据类型，见表2
元素值的允许范围，自由文本表示无限制说明
元素是必选元素还是可选元素，可以的值包括：M（必选）或O（可选）8
属性名称
最大出现次数
数据类型
二进制
数据接口
数据获取接口
表1（续）
LS/T18202018
元素所允许的出现次数，只出现一次用“1”表示。重复出现用“N”表示。不为1的固定出现次数可用相应的数字表示，如“2”“3\“4”。不出现用“0”或“NULL”表示对元素的补充说明、建议及其他表2数据类型
自由文本，表明对数据项（字段）的内容没有限制通过数值的形式表达值的类型，包括整数和实数等以年月日时分秒的形式表达的值的类型，参见GB/T7408两个而且只有两个表明条件的值，如True或False，1或0通过二进制格式存储对象，如图片、音额、视频等由若干数据类型组成，或具有特定值的枚举类型数据获取接口主要用于收集数据。在权限范围内，数据获取接口应支持通过如下方式收集数据：粮食信息系统API；
传感设备：
网络爬虫；
人工录人。
数据访问接口
数据访问接口用于对外提供数据访问服务。数据访间接口应支持如下访问方式：数据库连接访问；
中间件访间；
Webservicc标准接口；
RestfulAPI;
-FTP文件下载；
第三方软件访问，采用此种方式时，应提供具体的接口访问协议说明和数据格式。8.3数据同步接口
数据同步接口在国家级和省级资源池间同步数据。省级资源池应定期通过同步接口向国家级资源池推送更新数据。数据同步接口应支持数据的增量更新，支持数据的压缩和加密传输。数据应封装为多个单元进行传输，每个传输单元的数据量不宜超过5MB。9
数据模型与存储体系
数据模型
粮食大数据资源池中的数据应采用合理的存储模型进行组织。资源池应至少支持关系模型、键值7
LS/T 1820—2018
模型、列存储模型、文档模型和图模型5种数据组织和存储模型，不同类型的数据宜采用的存储模型如下：
结构化数据宜采用关系模型组织；a
具有明确键值对的非结构化数据宜采用键值模型组织：b）
面向分析型查询，需要高效压缩和I/O效率的数据宜采用列存储模型组织；大段文本，或具有嵌套环结构的数据宜采用文档模型组织；d)
具有或能够抽象为明确的点边结构的数据宜采用图模型组织。9.2存储体系
9.2.1通则
粮食大数据资源池应提供服务器本地存储与专用存储设备相结合的存储体系，存储介质应以磁盘为主，支持磁盘阵列，可铺以固态硬盘对高频访问数据进行加速。各种粮食数据应根据其访问频率和安全性要求存放于合适的存储位置：服务器本地磁盘存储实时、高频访问的业务数据，宜采用分片方式使数据访间与存储能够在同a)
一台服务器上进行，降低网络I/O开销。外置专用存储设备存储备份数据存储设备应支持对数据进行定时、增量式的备份，并支持将b)
备份数据导人业务系统。
不同来源的粮食数据具有不同的格式和存储要录，粮食人数据资源池应建立混合存储体系，包含关系型数据库、分布式文件系统内存数据库、缓存数据库键值数据库图数据库、多媒体数据库、数据索引等。
关系型数据库
关系型数据库主要用手结构化数据的存储，立支持分布式部害并能够利用固态硬盘进行重要数据的随机读写加速
9.2.3分布式文件系统
分布式文件系统用于存储大文件数据。分布式文件系统中的存储节点应通过以太网互联，能够屏蔽底层细节，提供统一透明的文件存取和数据管理功能。分布式文件系统不得依赖于具体的操作系统，应支持数据分央和自动复制，不得产生单点失效，应支持层级结构（目录树），具有设置并管理文件属性与访问权限的能力，具备容错功能。9.2.4内存数据库
内存数据库用于存储需要被频繁查询的粮食数据。内存数据库应能够分布式、跨平台部署，并支持数据持久化。分布式部署的内存数据库应支持主从复制、增量复制以及数据同步。9.2.5缓存数据库
缓存数据库主要对一定时间内访问过的粮食数据进行缓存，以减轻对主数据库频繁查询的压力。缓存数据库一般应将数据存储在内存中，并面向数据读取进行优化。缓存数据库应能够从不同的数据库中加载数据，但不得替代真正存放数据的各类数据库。9.2.6键-值数据库
键-值数据库主要用于存放不涉及过多数据关系和业务关系的非结构化文本数据。键-值数据库应提供直接访问键-值数据的函数，具备类似关系数据库的单表查询功能，应支持数据索的建立和数据压缩。
小提示：此标准内容仅展示完整标准里的部分截取内容，若需要完整标准请到上方自行免费下载完整标准文档。