ICS 35.240.70 CCS B07 DB6111/T197—2023 智慧农业园区数据处理技术规范（Technical Specifications for Data Processing of Intelligent Agriculture Parks） 2023-04-27发布 2023-05-27实施 发布单位：杨凌示范区市场监督管理局 前言 本文件按照GB/T 1.1—2020《标准化工作导则 第1部分：标准化文件的结构和起草规则》的规定起草。 本文件由西北农林科技大学信息工程学院提出。 本文件由杨凌示范区农业标准化技术委员会归口。 本文件起草单位：西北农林科技大学（信息工程学院、信息化管理处）、陕西省农村科技开发中心、杨凌耘尚田园网络科技有限公司、杨凌乾泰电子科技有限责任公司、杨凌现代农业产业标准化研究推广服务中心。 本文件主要起草人：刘斌、耿楠、蒲攀、周兆永、张宏鸣、李书琴、黄铝文、刘运松、耿耀君、李梅、张海曦、卫星、邓希廉、李皓、马军妮、文立红。 本文件为首次发布。 1 范围 本文件规定了基于物联网系统的智慧农业园区数据处理相关术语和定义、处理流程及技术要求。 本文件适用于智慧农业园区的数据规范处理、数据分析及数据可视化管理。 2 规范性引用文件 下列文件中的内容通过规范性引用构成本文件必不可少的条款。凡注日期的引用文件，仅该日期版本适用于本文件；凡不注日期的引用文件，其最新版本（包括所有修改单）适用于本文件。 GB/T 36344—2018 信息技术 数据质量评价指标 GB/T 37025—2018 信息安全技术 物联网数据传输安全技术要求 QX/T 628—2021 常规高空气象观测数据处理方法 3 术语和定义 下列术语和定义适用于本文件。 3.1 农业大数据（big data of agriculture） 在农业生产、经营、管理、服务等环节中产生的海量数据集合，具有多样性、高增长率、真实性及一定价值。 3.2 数据处理（data processing） 为从大量杂乱无章且难以直接理解的数据中提取并推导出对特定人群有价值的信息而进行的数据采集、存储、检索、加工、变换和传输等活动。 3.3 数据增强（data augmentation） 为提升数据利用价值，通过有限数据生成更多有效信息的数据扩充技术。 3.4 监测预警（monitoring and early warning） 通过监测、汇集和分析相关数据，结合风险评估结果，将可能出现的情况直观呈现给决策者并提示提前处置的活动。 3.5 特征衍生（feature derivatives） 利用现有数据特征进行组合，构建新的数据特征的技术方法，也称特征构建。 3.6 特征选择（feature selection） 按照系统特定优化目标，从原始特征中选择最有效特征的过程，也称特征子集选择或属性选择。 4 处理流程 4.1 数据预处理 4.1.1 数据清洗 4.1.1.1 重复数据检验 根据具体场景、数据特点和问题需求，确定重复数据的定义、检验方法及工具，并记录检验结果。 4.1.1.2 异常值处理 采用删除、替换、离群值检测等方法处理异常值。离群值检测可采用箱线图、3σ准则、聚类等统计方法。 4.1.1.3 重复值处理 采用删除、合并、标记等方法处理重复值。其中合并可采用相似度匹配、聚类等方法。 4.1.1.4 不一致值处理 采用规范化、转换、匹配等方法处理不一致值，例如大小写转换、数据类型转换等。 4.1.1.5 格式不一致处理 采用规范化、转换、格式化等方法处理格式不一致问题，例如格式化字符串、正则表达式等。 4.1.1.6 噪声数据处理 噪声数据处理包括但不限于以下方法： 采用分箱法、聚类法、回归法等处理噪声数据。分箱法通过将数据划分为若干区间并进行平滑处理；聚类法通过相似性度量对数据分组并迭代优化；回归法通过建立模型拟合数据关系，对异常数据进行修正或预测，从而提高后续分析和建模的准确性。 4.1.1.7 清洗处理 对数据清洗结果进行整理与输出，为后续数据分析和建模提供基础数据。