本标准适用于有关电子计算机及信息处理各个领域的设计、生产、使用、维护、管理、科研、教学和出版等方面。 GB/T 5271.16-1986 数据处理词汇 16部分 信息论 GB/T5271.16-1986 标准下载解压密码：www.bzxz.net

1概述
1.1引言
中华人民共和国国家标准
数据处理词汇
16部分信息论
Data processing -- VocabularySection 16:Information theoryUDC 681.3:001.4
GB5271.16-86
本词汇包括约二十个部分，本部分主要涉及香农信息论，它包括对信息论作，·般介绍所使用的基本术语，以及在实际应用中极其有用的派生定量术语。本部分始终使用一种形式的表述法，但其目的不是使这种表述法标准化。也不是为别的出版物提供先例。
本词汇的这-部分等效采用了国际标准IS02382/161978《数据处理词汇：一16部分：信息论》。
1.2范围
本词汇选出了有关数据处理领域中些概念的术语及其简明定义，并阐明了不问概念之间的关系，以便于国内交流和国际交往。
词汇涉及数据处理的各个主要方面，其中包括主要的处理过程和所用设备的类型、数据的表示数据的组织、数据的描述、计算机的程序设计和操作、外设备、数据通信及其他的特殊应用，1.3适用范围
本标准适用于有关电子计算机及信息处理各个领域的设计、生产、使用、维护、管理、科研、教学和出版等方面。
2遵循的原则和规则
以下各项规则已在GB5271.1一85《数据处理词汇01部分基本术语》中详细说明，它们同样适用于本部分，这里不再重复，只将其各项的标题列出如下：2.1词条的定义；
2.2词条的组成；
词条的分类：
术语的选择和定义的用语；
2.5多义术语：
缩写；
圆括号的用法：
方括号的用法；
黑体宇术语和星号在定义中的用法；拼法；
索引表的编制。
国家标准局1986-07-31发布
1987-05
~01实施
3术语和定义
16信息论
16.01—般术语
16.01.01信息论
information theory
GB 5271.16
研究信息测度及其性质的学科分支、16.01.02
通信论
communication theory
研究在噪声和其他十扰存在时、消息传输的概率特性的数学分支、信息测度
measure of information
随机事件集合中的·个事件或·序列事件出现概率的…个适当的函数注：在信息论中、“事件”这个术语和概率论中所用的意义相同。例如，·个事件可能是：集合中个给定元素的出现；或者在消息的给定位置士．…个特定字符或个特定字的出现.16.02消息及其通信
16.02.01消息（用于信息论和通信论）message (in information theory and communication theory)用于传送信息的有序*字符列。
消息源www.bzxz.net
message source
信息源
information source
通信系统中发出消急的那部分。消息宿
message sink
通信系统中接收消息的那一一部分。16.02.04
信道（用于通信论）
channel （in communicationtheory)通信系统中连接消息源和消息宿的那·…部分。让：！可能在消息源与信道输入之间插入一个编码器，同时在借道输山与消息宿之间插入个解码器。一·般说来，这两者都不是信道的部分。在某些场合下，它们可以分别被看作是消息源和消息宿的一部分
2在香农信息论中、信道可用组条件概率来表征，这组条件概率是：当消息源发出任个给定的消息时，消息宿可能收到的所有备种消息出现的条件概率，16.02.05对称二进制信道
symmetric binary channel
一种信道，用于传送二进制字符组成的消息，而日具有下述性质：任字符变为另字符的条件概率足相等的。
平稳消息源
stationary message source
平稳信息源
stationary information source每·消息的出现概率与出现时间无关的消息源、255
16.03基本定量术语
决策量
decision content
GB 5271.16-86
从有限个瓦不相容事件中，选取个给定事件所需的决策次数的对数测度，其数学表述为：
Ho-logan
中：n一
事件的数目。
例：见16.03未尾的例「，
注：」16.1.(3的注也适用于本定义2对数的底决定了所用的单位
决策量与各事件出现的概率无关：但在某些应用中，也可以认为这些概率是相等的16.03.02
信息量
information content
·个有确定概率的事件出现时所给出的信息测度。其数学表述为：事件，的这-测度『（）足的出现概率p（）倒数的对数，即I ()= loga p(x)
= - logap(α)
例：见16.03未尾的例子。
entropy
平均信息量
mean information content
average information content
在确定概率的有限个五不相容事件组成的完备事件集中，由任·事件出现所给出的平均信息测度。其数学表述为：对具有概率p（）…（n）的事件集合αn，这平均值H（）等于各个事件的信息量1（）的数学期挚即平均值。H(x）
Zp(c)logo p(x)
Ep(α)I()
Ep(x,)logap(x)
例：见16.03未尾的例于。
相对滴
relative entropy
炳H与决策量H.之比。其数学表述为：H,
16.03.05亢余度（用于信息论）redundancy (in information theory)H
决策量H.超过炳H的数量。其数学表述为：256
GB 5271.16-86
RH。·H
注：般来说采用适当的代码可以减少代表消息的宇符。允余度可用来衡量编码能将消息平均长度缩短多少。
shannon
信息量二进制单位
binary unit of information content信息测度的－·种单位，它等「用以2为底对数表示的、由两个互不相容事件组成的事件集的决策量。
例：由8个字符组成的字符集，其决策量等于3香农，log，8：3注：严格避免使用比特（bit）作为信息量二进制单位，哈特莱
hartley
信息量十进制单位
decimal unit of information content信息测度的一种单位，它等十以10为底的对数表示的、由十个互不相容事件组成的事件集的决策量。
例：由8个字符组成的字符集，其决策量等于0.903哈特莱，1og,。8=0.903信息量自然单位
natural unit of information contentNAT（缩写）
信息测度的单位，它用自然对数来表示。例：由8个字符组成的字符集，其决策量等于2.079自然单位，10g。8=310g。2=2.079例：设字符集由α、b、c三个字符组成，对某给定的消息源来说。它们的出现概率如下：
p(α)=
(）这个字符集的决策量是：
log,3 = 1.580
logt3-0.477
loge3 = 1.098
？）这些字符的信息量是：
p(b)=p(c)=
哈特莱
自然单位
log,2～ 1
log1。2=0.301
log.2 -0.693
I(b)=I(c)=
哈特莱
自然单位
log24 2
log1o4=0.602
loge4 1.386
哈特莱
自然单位
3）如果在任一消息中，这三个字符的出现是相互独立的，则这个消息源的熵是：257
GB 5271.16
1.5 × 0.301
1. 5 × 0. 693
1这个消恩源的几余度：
16.04派生的定量术语
相对穴余度
relative redundancy
哈特莱
哈特莱
自然单位
自然单位
穴余度R与决策量H.之比，其数学表述为：RH-H
条件信息
conditional information content在已知另事件出现时，由具有确定条件概率的·个事件的出现所给出的信息测度其数学表述为：若集合,…n中事件的出现依赖于另-集合，ym中的事件y的出现，则这个条件信息量「（！y）等于已知条件y出现时事件出现的条件概率（）的倒数的对数。
I(x. I y,)= loga
p(αj）
联合信息量
joint information content
由具有确定联合概率的两个事件的出现所给出的信息测度。其数学表述为：若α，y是事件集…zn和yym中两个事作、则这个测度p（αs、）等于这两个事件间时出现的联合概率p（αi，y）的倒数的对数I（αy,）= loga-
条件焰
conditional entropy
平均条件信息量
average conditional information contentmean conditional information content当已知另一互不相容事件集合中的事件出现时，在具有确定条件概率的有限个互不相容事件组成的完备事件集合中，由任一事件出现所给出的信息测度的平均值。其数学表述为：若事件集α,cn中事件的出现依赖于另事件集y.ym中事件的出现，且两事件α，,同时出现的联合概率是p（，），则这个均值H（α）等于全部审件对的条件信息量『（.ly,）的数学期望。238
存疑度
equivocation
GB5271.16-86
H(αly)zp(αy)I(αly)
2zp当已知消息宿处任特定消息出现时，消息源特定消息出现的条件炳，消息宿是出-条特定信道与消息源连接起求的。注：）若x：是消息源处的输入消息、3,是消息宿处的输出消息则存疑度是16.04.04的条件炳H(ly)
（2）存疑度是为消息宿每个消息的所必须提供的平均附加信息，用来纠正收到受噪声信道的影响的消息。
16.04.06偏离度
irrelevance
弥散度
spread
prevarication
当已知消息源处任特定消息出现时，消息宿特定消息出现的条件炳，消息源是由-条特定信道与消息宿连接起来的。注：若α,是消息源处的输入消息、,是消息宿处的输出消息，则偏离度（yi）由下式表示：H(ylp(2.） loga
ap(y,l z)
7转移信息（量）
transinformation (content)
transferred information
transmitted information
互信量
mut ual information
某事件出现所给出的信息量与已知另一事件出现后，由该事件出现所给出的条件信息量之差。其数学表述为：，是一个事件对，例如，是一个输入消息，,是另一个输出消息：
p（α，,）是两个事件α.和,同时出现的联合概率；p（ly）是已知事件y,出现时，事件.出现的条件概率；p（,lα）是已知事件α出现时，事件y，出现的条件概率；p（）是事件出现的概率：
p（y）是事件,出现的概率；
则事件对，y,的这个差T（α！y）为T (α.l y,)= loga
p(αly)
p(α）
p(αly)
p(a，yj)
p(x)p(y,)
16.04.08平均转移信息（量）
GB5271.16--86
average transinformation (content)mean transinformation (content )T(y,1）
当已知另…·互不相容事件中的事件出现时，在有限个互不相容事件所组成的完备事件集合中任－事件出现所给出的转移信息量的平均值，其数学表述为：若事件集αα，中事件出现依赖于另--事件集y.9中事件的出现，目两事件，y同时出现的联合概率是P（2:，9），则这个平均转移信息量T等全部事件对的转移信息量T（［,>的数学期望，
Tp(+,)T(ly,)
注：平均转移信息鼠也等于两个事件集之·的炳与这·释件集对应于男·事件集的条件焰之并，例如在传送消息时。它等于消息源处的嫡的存疑度之差，也等消息宿处的娴偏离度之差。即T-H()-H(y)H(y)
（每字符的）平均熵
mean entropy (per character)average information content (per character )mean information content (per character)（每字符的）信息率
information rate(per character)H(yIr)
个平稳消息源所有可能消息的炳的字符平均值。其数学表述为：若llm是消息源发出的由㎡个字符组成的全部序列的集合的熵，则此每字符的平均H为：H'-lim
注：！每字符的平均嫡可用谐如字符香农为单位来表示，2如消慧源不是半稳的，则H，／m的极限可以不存在。16.04.10（平均）信息率
(average) information rate
每单位时间的每字符的平均炳，其数学表述为：信息率H*等于每个字符的平均嫡H除以字符集合n中任一字符的持续时间的数学期望，即H*
式中：
注：“（平均）催息率可用诸如每秒香农为单位来表示（每字符的）平均转移信息量
mean transinformation content (per character)一个平稳消息源所有可能消息的平均转移信息量的字符平均值。其数学表述为：对」260
GB5271.16-86
m个字符的输入序列与相对应的㎡个字符的输出序列所组成的序列对，用Tm表示全部序列对的平均转移信息量，则每字符的平均转移信息量T”为Tm
T'= lim
注：每字符的平均转移信息量可用诸如每字符香农为单位来表示。（平均）转移信息率
(average) transinformation rate每单位时间的每字符的平均转移信息量。其数学表述为：转移信息率T*等于每字符的平均转移信息量T除以任-复合事件（，）的持续时间t，的数学期望，即*
式中：
t=zEtup(α,y,)
注：转移信息率可以用诸如每秒香农为单位来表示。信道容
channel capacity
受到特定约束的给定倍道传送特定消息源的消息的能力测度，它可以用每字符的平均转移信息量的最大可能值或平均转移信息率的最大可能值来表示，这些值可以用适当的代码以任意小的错误概率来达到。261
存疑度
对称二进制信道
哈特莱
互信量
决策量
联合信息量
（每字符的）平均炳
（每字符的）平均转移信息量
（每字符的）信息率
弥散度
偏离度
平均条件信息量
平均信息量
（平均）信息率
平均转移信息（量）
（平均）转移信息率
平稳消息源
平稳信息源
GB 5271.16--86
汉语索引
（参考件）
亢余度
条件嫡
条件信息量
通信论
相对亢余度
相对熵
消息宿
消息源
信道容量
信息测度
信息量
信息量二进制单位
信息量十进制单位
信息量自然单位
信息论
信息源
转移信息（量）
GB 5271.16 ---86
附录B
英文索引
（参考件）
average conditional information contentaverage information content
average information content (per character)(average) information rate
average transinformation (content)(average) transinformation rateB
binary unit of information contentC
channel
channel capacity
communication theory
conditional entropy
conditional information contentD
decimal unit of information contentdecision content
entropy
equivocation
hartley
information content
information rate (per character)information source
information theory
irrelevance
joint information content
GB 5271.16-86
mean conditional information contentmean entropy (per character)mean information content
mean information content ( per character)mean transinformation (content)mean transinformation content (per character)measure of information
message
message sink
message source
mutual information
natural unit of information contentP
prevarication
redundancy
relative entropy
relative redundancy
shannon
spread
stationary information sourcestationary message source
symmetric binary channel
transferred information
transinformation (content )
transmitted information
附加说明：
本标准由中华人民共和国电子工业部提出。本标准由成都电讯工程学院、杭州电子工业学院负责起草16.04.0.1
本标准主要起草人张宏基、重匡、张志浩、杨旭明、吴仲贤、许自省、章镒汀、陈培、谢志良、向维良、林宁。
小提示：此标准内容仅展示完整标准里的部分截取内容，若需要完整标准请到上方自行免费下载完整标准文档。