首页 > 国家标准(GB) > GB/T 42636-2023空间数据与信息传输系统 无损数据压缩
GB/T 42636-2023

基本信息

标准号: GB/T 42636-2023

中文名称:空间数据与信息传输系统 无损数据压缩

标准类别:国家标准(GB)

英文名称:Space data and information transfer systems—Lossless data compression

标准状态:现行

发布日期:2023-05-23

实施日期:2023-09-01

出版语种:简体中文

下载格式:.pdf .zip

下载大小:3834027

相关标签: 空间数据 信息 传输 系统 无损

标准分类号

标准ICS号:航空器和航天器工程>>49.140航天系统和操作装置

中标分类号:航空、航天>>航天器及其附件>>V70航天器综合

关联标准

采标情况:ISO 15887:2013,MOD

出版信息

出版社:中国标准出版社

页数:24页

标准价格:43.0

相关单位信息

起草人:王菊花、张建华、周玉霞、李立、肖化超、袁素春、杨新权、马晓东、璩泽旭、李永峰、张佳鹏、王鸣涛、许冬彦、张朗、郑晶晶、苟保卫、李红娟、唐文倬、于冰洋、邓晓东、林正春、何建军、王小燕

起草单位:西安空间无线电技术研究所、中国航天标准化研究所、二十一世纪空间技术应用股份有限公司、北京电子工程总体研究所、深圳市查策网络信息技术有限公司、北京遥感设备研究所、中国资源卫星应用中心

归口单位:全国宇航技术及其应用标准化技术委员会(SAC/TC 425)

提出单位:全国宇航技术及其应用标准化技术委员会(SAC/TC 425)

发布部门:国家市场监督管理总局 国家标准化管理委员会

标准简介

本文件规定了空间数据与信息传输系统无损数据压缩的方法,主要包括预处理器自适应熵编码器的无损信源编码器、编码数据格式和压缩码流打包格式等内容。 本文件适用于航天器平台和载荷数据的无损数据压缩。


标准图片预览






标准内容

ICS49.140
CCS V 75
中华人民共和国国家标准
GB/T42636—2023
空间数据与信息传输系统
无损数据压缩
Space data and information transfer systems-Lossless data compression
(IS0 15887 :2013,MOD)
2023-05-23发布
国家市场监督管理总局
国家标准化管理委员会
2023-09-01实施
GB/T42636—2023
规范性引用文件
术语和定义
符号和缩略语
缩略语
5无损信源编码器
基本组成
预处理器说明
自适应摘编码器说明
编码数据的封装
错误控制
预处理器wwW.bzxz.Net
预处理器功能
预测器
参考样本
预测误差映射器
自适应嫡编码器
编码说明
基本序列(FS)
采样拆分
低嫡编码选项
不压缩
码选择
数据格式
位序号约定
无损压缩编码数据结构
包格式
压缩标识包(可选)
压缩标识包结构
CIP包主导头
9.3包数据域:
附录A(资料性)本文件与ISO15887:2013相比的结构变化情况附录B(资料性)
参考文献
本文件与ISO15887:2013相比的技术差异及其原因11
GB/T42636—2023
本文件按照GB/T1.1一2020《标准化工作导则第1部分:标准化文件的结构和起草规则》的规定起草。
本文件修改采用ISO15887:2013《空间数据与信息传输系统无损数据压缩》。本文件与ISO15887:2013相比,在结构上有较多的调整,两个文件之间的结构编号变化对照一览表见附录A。
本文件与ISO15887:2013相比,存在较多技术差异,在所涉及的条款的外侧页边空白位置用垂直单线(丨)进行了标示。这些技术差异及其原因一览表件见附录B,本文件做了下列编辑性改动:
删除了ISO15887:2013中第1章关于原理定义、文件结构、专利技术等部分内容;一删除了ISO15887:2013附录B定义中两个复合名词的定义(见第3章);一将ISO15887:2013附录B中的*缩略语”和“定义”改为正文内容(见第4章);一增加了本文件中使用的符号定义(见4.1);一删除了本文件没有出现的缩略语,增加了本文件用到的其他缩略语(见4.2);一用资料性引用的GB/T39348替换了ISO22646(见5.5);一用资料性弓I用的GB/T39351替换了ISO22641(见5.5);一用“无损信息编码器”替换了ISO15887:2013第2章的标题“概述”(见第5章);一用“空间包”替换了ISO15887:2013中的“源数据包”(见第8章和第9章);一删除了ISO15887:2013的资料性附录A“安全、空间分配编码和专利因素”;一删除了ISO15887:2013的资料性附录C参考文献”。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由全国宇航技术及其应用标准化技术委员会(SAC/TC425)提出并归口。本文件起草单位:西安空间无线电技术研究所、中国航天标准化研究所、二十一世纪空间技术应用股份有限公司、北京电子工程总体研究所、深圳市查策网络信息技术有限公司、北京遥感设备研究所、中国资源卫星应用中心。
本文件主要起草人:王菊花、张建华、周玉霞、李立、肖化超、袁素春、杨新权、马晓东、泽旭、李永峰、张佳鹏、王鸣涛、许冬彦、张朗、郑晶晶、苟保卫、李红娟、唐文倬、于冰洋、邓晓东、林正春、何建军、王小燕。
1范围
空间数据与信息传输系统
无损数据压缩
GB/T42636—2023
本文件规定了空间数据与信息传输系统无损数据压缩的方法,主要包括预处理器自适应摘编码器的无损信源编码器、编码数据格式和压缩码流打包格式等内容。本文件适用于航天器平台和载荷数据的无损数据压缩规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,仅该日期对应的版本适用于本文件,不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。
航天术语空间数据与信息传输
GB/T42041—2022
3术语和定义
GB/T42041一2022界定的以及下列术语和定义适用于本文件。3.1
焰entropy
每个信源采样所含平均信息量的可量化度量。注:用“比特/样本”表示。
厂来源:GB/T42041一2022,3.3.32,有修改3.2
基本序列fundamentalsequence;FS用m个“0”紧跟一个“1”的二进制码字表示一个非负整数m的一种编码。注:一个基本序列(FS)码是J个FS码字的级联。3.3
samplesplitting
菜样拆分
将一个采样样本分离成两组二进制数的过程,分离的二进制数相邻,一组为低阶位,另一组是高阶位。
[来源:GB/T42041—2022,3.3.93]3.4
分裂比特
手splitbits
由一个二进制表示的样本中分裂出来的低位比特。4符号和缩略语
4.1符号
下列符号适用于本文件。
GB/T42636—2023
J:每个数据块的样本数。
k:分裂比特数。
l:每个包中CDS的数目。
n:分辨率,比特/样本。
r:参考样本间隔。
S:块数。
X:输人数据块。
amax:最大预测误差值。
Tmin:最小预测误差值。
::样本块中的第i个样本。
:::的预测值。
y:编码块。
A::r:的预测误差值。
8:预处理样本块。
::预处理样本块中的第讠个样本。缩略语
下列缩略语适用于本文件。
APID:应用过程标识(ApplicationProcessIdentifier)CDS:编码数据集(CodedData Set)CIP:压缩标识包(CompressionIdentificationPacket)FS:基本序列(Fundamental Sequence)ICS:设备配置子域(InstrumentConfigurationSubfield)ID:标识(Identification)
LSB:最低有效位(Least Significant bit)MSB:最高有效位(MostSignificantbit)ROS:分段结尾(Remainderof Segment)无损信源编码器
基本组成
无损信源编码器由两个独立的功能模块组成,分别是预处理器和自适应熵编码器,原理框图如图1所示。信源编码器的输人是X:
输入数据块
X=X,X2,\*, X,
预处理器
一块含有J个nbit的样本值,其中n是一个常数8
8=8,8,8
自适应摘编码器
无损信源编码器原理框图
编码块
5.2预处理器说明
GB/T42636—2023
预处理器利用一个可逆函数对输人数据块进行处理,产生一个预处理样本块:=1,2,,」,其中;是一个nbit的整数,且0≤:≤2\一1。对于一个理想的预处理器,具有下列性质:a)(:)统计独立,且服从同一分布;b)任何一个具有整数值m的采样?;的概率pm是m的非递增函数,m=0,1,(2\一1)。预处理函数是一个可逆函数,满足上述条件的无损预处理器,将会产生最低的熵,这个炳给出了可用来表示每个样本的最小平均比特数的度量。本文件定义了一个适于各种应用的基本预处理过程,具体预处理方法由具体实现确定。具体要求见第6章。
5.3自适应炳编码器说明
自适应熵编码器根据预处理器输出的预处理样本块计算出对应的唯一可译变长码字。炳编码器包含多个编码选项,每个缩编码选项可分别实现不同嫡范围内的高效编码性能。对同一个含有丁个样本的样本块,编码器从不同的选项中选择具有最高压缩比的编码选项。一个编码ID仅需要几个比特,添加在第一个码字的前几个比特,来标识这一编码选项,以供译码器译码使用。由于丁可以很小,且对每一样本块均可选择新的编码选项,因此整个编码过程可适应输入数据统计特性的快速变化。具体要求见第7章。
5.4编码数据的封装
含有J个样本的样本块的变长编码比特流构成一个编码数据集(CDS)。使用遥测数据包的数据域传输这些CDS。其他如传感器、任务、时间,以及包路由和具体的任务细节说明等相关信息包含在遥测数据包的主包头以及副包头(如有)中。遥测数据包格式见GB/T39351。5.5错误控制
当数据被压缩时,每一个信道比特错误会产生更大影响。因此为了限制错误传播,本文件中的信源编码算法给出以下建议:
a)使用GB/T39351中规定的遥测数据包格式:b)采用GB/T39348中规定的遥测信道编码。6预处理器
6.1预处理器功能
6.1.1影响无损数据压缩算法性能的两个因素是预处理器的去相关能力和熵编码器的编码效率。预处理器的功能是对源数据进行去相关,并把它们转换为具有更好概率分布的非负整数。当样本源数据之间的相关性很小时,可不使用预处理器以提供更好的压缩性能。6.1.2预处理器包含预测器和映射器两个功能模块,功能框图如图2所示。预处理器从当前值3;中减掉预测值xi。然后将所产生的(n十1)bit预测误差△:映射到一个nbit整数值;。如果预测器选择合适,预测误差趋向很小,并且对于某些数据源,预测误差拥有接近拉普拉斯的概率分布,而此种概率分布对自适应熵编码器是最优的
GB/T42636—2023
6.2预测器
6.2.1预测技术
输入数据块
预测器
预测误差
预测值
映射器
图2预处理器功能框图
预处理器输出数据
在预处理器中有多种预测技术可用,本文件给出使用单位延迟预测器技术,具体见6.2.2。6.2.2单位延迟预测器
使用单位延迟预测器的预处理器如图3所示,对输人数据进行一个采样单位的延迟,作为当前数据的预测值进行预测,产生的预测误差和预测值一起送到后面的映射器,映射结果为一个非负整数预测误差>
6.3参考样本
单位延迟预测器
预测误差映射器
图3使用单位延迟预测器的预处理器预处理样本8,
参考样本是一个原始的输入数据样本,后面的样本根据参考样本进行预测。当采用一个单位延迟预测器或者其他高阶预测器时,译码器使用这些参考值从译码预测误差中恢复样本值。当插入一个参考样本时,在CDS中有J一1个预处理样本。用户应确定多长时间插入一个参考样本。参考样本采样间隔被限制到最大为4096个CDS(当J为64时共有262144个样本)。当在预处理器中不要参考样本时,参数r用于定义输人数据样本块的间隔,它会在零块选项中继续加以划分。6.4预测误差映射器
预测误差映射器以预测误差值为输入数据,把它们映射成适合于自适应编码器的非负整数,nbit整数的信号值:和预测值:之间的差值,产生预测误差△,预测误差的动态范围为「一2\十1,2\一17,且为(n十1)bit的整数。然而,对于每个预测值,仅有2″种可能的预测误差值。如果选用一个合适的预测器,最有可能的预测误差值是0,其次是十1和一1、十2和一2等。最小的预测误差值是最小信号值min和预测值:之间的差值:min一。最大预测误差值是最大信号值max和预测值:之间的差值:max一;。为了将2\种可能的预测误差值映射成非负整数,使用公式(1):24;,
2△,—1,
0:+A:,
≤A<0
·(1)
式中:
o=min(,amin,amax-a,)。
对于nbit有符号信号时,min=—2\-1,max=2\-1-1;对于nbit无符号信号时,amin=0,amax=2\一1。自适应焰编码器
7.1编码说明
GB/T42636—2023
7.1.1带有预处理器的通用自适应熵缩编码器的原理示意图如图4所示。该编码器从一系列编码选项中选择一种编码方法对预处理后数据进行编码。在编码比特流中添加唯一的编码标识,用于译码器。编码方法
选择器
零块编码
二次扩展
基本序列(FS)
X=x,x2
预处理器
k=1bit的样本分裂
k=2bits的样本分裂
不压缩
图4带有预处理器的自适应编码器选择编码
7.1.2自适应熵编码器选择的基本码是一个变长码,它使用莱斯自适应编码。在莱斯编码算法中,对包含个连续预处理样本的样本块同时采用多种编码方法。从中选择对当前数据块编码最短的码字序列进行传输。零块编码是一种特殊情况,其一个单独码字可表示一个或多个连续的样本块。而在所有其他的选项中,一个码序列仅代表一个连续的预处理样本块。7.1.3莱斯自适应编码使用如下的变量:J,每个数据块的样本数;
一n,分辨率,比特/样本;
—ID,标识。
7.1.4用于炳编码器的自适应变长编码的参数取值范围如下,J=8、16、32或64;
n最大为32,样本数值范围从0~2\—1,或从—2\-1~2\-11。7.2基本序列(FS)
自适应熵编码器最基本的选项是变长基本序列码,当输入预处理过的样本,=m时,FS码字包5
GB/T42636—2023
含m个0,然后紧随一个1。表1说明了FS码字,一个基本序列(FS)码是J个FS码字的级联。表1FS码字与预处理样本的对应关系预处理样本点的值(3:)
7.3采样拆分
FS码字
0000001
(2\—1个0)
7.3.1参数为k的采样拆分编码从每个预处理样本:的二进制表示中分裂出k个LSB,并对剩余的高位位采用FS码字进行编码,采样拆分格式如图5所示。这一编码过程产生了一个变长的码字长度对于含有J个预处理样本的当前样本块,FS码字连同分裂的LSB一起传输,前面添加有表示参数k的ID。这一编码方法使得码字长度能适应信源数据的统计特性。7.3.2FS码是采样拆分在k=0时的特殊情况。nbit预处理样本,o,
用FS码字编码的(n一k)bit
最高有效位
图5采样拆分格式
7.4低炳编码选项
7.4.1总则
k个分裂比特
最低有效位
当预处理的数据可以被高倍压缩时,二次扩展选项和零块编码选项可提供比其他选项更加高的压缩倍数。
7.4.2二次扩展
当选择二次扩展选项时,在J样本块中,对每对预处理样本进行变换,然后使用FS码字对其进行编码。J样本预处理数据块中两个相邻的样本,和+1,它们通过公式(2变换成一个单一的新的符号。
(8;++)(8+i+1+1)
(2)
个块中的J/2个变换的符号使用表1中的FS码字进行编码。其中J是一个偶数,且J为8、16、32或64。
7.4.3零块编码
GB/T42636—2023
7.4.3.1当一个或多个预处理样本块是全0时,选用零块编码。此时一个单一的码字可能代表若干个预处理样本块,这与其他选项中一个FS码字仅表示一个或两个预处理样本是不同的。7.4.3.2相邻参考样本之间的r个数据块的集合(具体说明见6.3),被划分为一个或多个段。每个段(除了最后一个)都包含S个块。S的建议值为64。7.4.3.3在每个段中,连续的全0码块组采用表2中的FS码字进行编码,这些码字指明了每一组全0码块的长度。表2中的ROS码字用来表示一个字段的结尾,且该字段包含5个或者更多的全0块。表2全0码块的FS编码
全零块数
7.5不压缩
FS码字
000001
0000001
00000001
000..00001
(63个0和1个1)
最后一个选项为不进行数据压缩。如不选择压缩,预处理的样本块只增加一个附加的标识,而数据将直接输出。
7.6码选择
自适应熵编码器包含一个码选择器,它选择某种编码选项,能够使当前样本块编码比特个数最7.6.1
少。ID用于指明使用的是哪种编码选项。ID说明见表3。7.6.2当两个或多个编码选项同时使得当前样本块编码的比特个数最短时,该样本块的编码选项宜按如下规则进行选择:
如编码选项中有不压缩选项,优先选择不压缩选项;如编码选项中没有不压缩选项,但包含二次扩展选项,优先选择二次扩展选项;如编码选项中即没有不压缩选项又没有二次扩展选项,优先选择有最小k值的采样拆分编码选项(FS编码视作k为O的采样拆分编码选项)。数据格式
位序号约定
在本文件中,位序号的约定使用图6所示的规则来标识一个NV比特字中的每个位。该字中第一个7
小提示:此标准内容仅展示完整标准里的部分截取内容,若需要完整标准请到上方自行免费下载完整标准文档。