ＧＢ／Ｔ５２７１《信息技术 词汇》共分３０部分，本部分是ＧＢ／Ｔ５２７１的第１６部分。 本部分代替ＧＢ／Ｔ５２７１．１６—１９８６《数据处理词汇 １６部分 信息论》。 ＧＢ／Ｔ５２７１的本部分方便信息技术的国际交流。本部分给出了与信息处理领域相关的概念的术语和定义，并明确了这些条目之间的关系。ＧＢ／Ｔ５２７１的本部分定义了信息论，消息及其交流相关的各种概念。 本部分与ＧＢ／Ｔ５２７１．１６—１９８６ 的主要差别是在前一版的基础上增加了１条术语，删去了４条术语。 GB/T 5271.16-2008 信息技术 词汇 第16部分：信息论 GB/T5271.16-2008 标准下载解压密码：www.bzxz.net

ICS35.020
中华人民共和国国家标准
GB/T 5271.16—2008/ISO/IEC 2382-16:1996代替GB/T5271.16—1986
信息技术
第16部分：信息论
Information technology—Vocabulary-Part 16:Information theory
(ISO/IEC 2382-16:1996.IDT)
2008-07-18发布
中华人民共和国国家质量监督检验检疫总局中国国家标准化管理委员会　
2008-12-01实施
GB/T5271.16—2008/ISO/IEC2382-16:1996目
术语和定义
信息论
通用术语
消息及其通信
基本定量术语
导出定量术语
中文索引
英文索引
GB/T5271.16—2008/ISO/IEC2382-16：1996前言
GB/T5271《信息技术词汇》共分30部分：第1部分：基本术语；
第2部分：算术和逻辑运算；
第3部分：设备技术；
第4部分：数据的组织；
第5部分：数据表示；
第6部分：数据的准备与处理；
第7部分：计算机编程；
第8部分：安全；
第9部分：数据通信；
第10部分：操作技术和设施；
语音识别与合成；
第29部分：人工智能
一第31部分：人工智能机器学习；第32部分：电子邮件；
第34部分：人工智能神经网络，本部分是GB/T5271的第16部分，等同采用ISO/IEC2382-16：1996《信息技术词汇第16部分：信息论》（英文版）。
本部分代替GB/T5271.16—1986《数据处理词汇16部分信息论》。本部分与GB/T5271.16一1986的主要差别是在前一版的基础上增加了1条术语，删去了4条术语。
本部分由全国信息技术标准化技术委员会（SAC/TC28)提出并归口。本部分起草单位：中国电子技术标准化研究所。本部分主要起草人：王静、王有志。本部分于1986年首次发布。
1概述
1.1范围
GB/T5271.16—2008/IS0/IEC2382-161996信息技术词汇
第16部分：信息论
GB/T5271的本部分方便信息技术的国际交流。本部分给出了与信息处理领域相关的概念的术语和定义，并明确了这些条目之间的关系。GB/T5271的本部分定义了信息论，消息及其交流相关的各种概念。1.2遵循的原则和规则
1.2.1词条的定义
第2章包括许多词条。每个词条由几项必需的元素组成，包括索引号，一个术语或几个同义术语和定义一个概念的短语。另外，一个词条可包括举例、注解或便于理解概念的图解说明。有时同一个术语可由不同的词条来定义，或一个词条可包括两个或两个以上的概念，描述分别见1.2.5和1.2.8。
GB/T5271的本部分使用的其他术语，例如词汇、概念、术语和定义，其意义在GB/T15237.1中有定义。
1.2.2词条的组成
每个词条包括1.2.1中规定的必需元素，如果需要，可增加一些元素。词条可以包括按以下次序出现的元素：
索引号（对发布GB/T5271本部分的所有语言是共同的）；a）
b）术语或语言中通常优选的术语。对语言中的概念若没有通常优选术语表示，则用五个点（组成）的符号（.·.·.）表示；在术语中，一行点用来表示每个特定情况下所选的词；某个国家（根据GB/T2659规则标识）通常优选的术语；c）
d）术语的缩写；
e）许可用的同义术语；
定义的正文（见1.2.4）；
以“例”开头的一个或几个例子；g）
h）以“注”开头的概念应用领域中规定特殊情况的一个或几个注解；i）几个词条共用的图片、图示或表格1.2.3词条的分类
GB/T5271的每部分分配给一个两位的数字序列号，对于《基本术语》以01开始。词条按组分类，每组分配给一个四位的数字序列号；前两位数字表示GB/T5271的那些部分。每个词条分配给一个六位数字的索引号；前四位数字表示GB/T5271的那些部分和组。1.2.4术语的选择和定义的用语
术语的选择和定义的用语尽可能遵循已建立的用法。当出现矛盾时，寻求大多数同意的方法解决。1.2.5多义术语
在一种工作语言中，如果一个给定的术语有几种意义，每种意义则给出一个单独的词条，以便于翻译成其他的语言。
GB/T5271.16—2008/ISO/IEC2382-16:19961.2.6缩略语
如1.2.2中指示的，通行使用的缩略语指定给一些术语。这些缩略语不在定义、例子或注解的文本中使用。
1.2.7圆括号的用法
在一些术语中，以黑体字印刷的一个或几个字词置于圆括号中。这些字词是完整术语的一部分。但是，当在技术文章中使用缩短的术语不引起误解时，则这些字词可以省略。在GB/T5271的其他定义、例子或注解的正文中，只使用这些术语的完整形式在一些词条中，术语后面跟随正常字体的字词并放在圆括号中。这些字词不是术语的一部分，而是指明该术语使用的方向，如它的特殊应用领域，或它的语法形式。1.2.8方括号的用法
如果几个紧密相关的术语能由文本定义，只是几个字词的差别，这些术语及其定义归为一个词条。为表示不同意思的替换字词，按在术语和定义中相同的次序放在方括号中，即.···」。为清楚标识被替换的字词，按上述规则放在方括号前面的最后一个字词可放在方括弧里面，并且每置换一次则重复一次。
1.2.9定义中黑体术语的用法和星号的用法术语在定义、例子或注解中用黑体字印刷时，则表示该术语已在本标准的其他词条中定义过。但是，只有当这些术语首次出现在每一个词条中时，该术语才印成黑体字的形式当黑体字印刷的两个术语涉及到分隔开的词条并且直接地彼此紧随时，则星号用于分隔黑体字的术语（或只由加标点的标记分隔）。以正常字体印刷的字词或术语，按通行词典中或权威性技术词汇的定义理解。1.2.10索引表的编制
每部分的末尾编有按汉语拼音和英文字母排序的索引表。它包括在该部分定义的所有术语。2术语和定义
16信息论
16.01通用术语
informationtheory
信息论
研究信息的定量测度的学科分支。16.01.02
communicationtheory
通信论
研究存在噪声和其他干扰的条件下，消息传输的概率特征的数学分支。16.01.03
信息（用于信息论）information（ininformationtheory）从可能事件的给定集合中，减少或除去特定事件出现的不确定性的知识。注：在信息论中，“事件”这一概念按概率论中的用法来理解。例如，事件可以是：—给定元素集合中，某一特定元素的存在；一在给定消息中或在消息的给定位置，某一特定字符或字的出现一某一试验可以得出的各不相同的结果之一。16.02消息及其通信
消息（用于信息论与通信论）message(ininformationtheoryandcommunicationtheory）用于传送信息的字符组成的有序序列。2
消息源
message source
原informationsource
信（息）源
在通信系统中，认为消息由此始发的那一部分16.02.03
消息宿
消息汇
messagesink
信(息)宿
informationsink
信息汇
在通信系统中，认为消息在此接收的那一部分。16.02.04
GB/T5271.16—2008/ISO/IEC2382-16:1996信道（用于通信论）channel（incommunicationtheory）在通信系统中，连接消息源与消息的那一部分。注1：消息源与信道输人之间可插入一编码器，信道输出与消息汇之间可插入一解码器。一般认为，这两种器件都不是信道的组成部分。不过在某些情况下，可将两者分别看作消息源与消息汇的一部分。注2：在香农所提出的信息论中，能将信道表征为：当给定消息从消息源发出时，在消息汇处收到所有消息所出现的条件概率集，
对称二进制信道
symmetric binary channel
一种信道，用于传送由二进制字符组成的消息，并具有这样的性质：任一字符列变为另一字符的条件概率是相等的。
原 stationary message source平稳消息源
原stationaryinformation source平稳信（息）源
对从中发出的每一消息，所出现的概率都与其出现时间无关的消息源。16.03基本定量术语
决策量
decision content
在互斥事件的有限集合中的事件数的对数；依数学记法为：H。=logn
式中：
n事件数。
注1：16.01.03中的注适用于这一定义。注2：对数的底确定所用的单位。常用单位有：对以2为底的对数采用“香农”（符号Sh），对以e为底的对数采用“自然单位”（符号nat)，对以10为底的对数采用“哈特”（符号Hart)。换算表：
1 Sh=0.693 nat=0.301 Hart,
1nat=1.433Sh=0.434Hart,
1Hart=3.322Sh=2.303nat。
注3：决策量与所指各事件出现的概率无关。注4：从互斥事件的有限集合中选出某一特定事件所需的6重决策数，等于不小于以底数6的对数所定义的决策量的最小整数。这适用于6为整数的情况。3
GB/T5271.16—2008/ISO/IEC2382-16：1996例：设(a，b，c)为三个事件的集合，则其决策量为：H。=(lb 3) Sh=1.580 Sh
=（ln3)nat=1.098nat
=(lg 3)Hart=0.477Hart
信息量informationcontent
关于有确定概率的某一事件出现的信息的一种定量测度法为
I(r)=log
武中()是事件出现的概率，
注1：16.01.03的注适用于此定义。1
—logp(r)
注2：对等概率事件集，每一事件的信息量都等于该集的决策量，等于此概率倒数的对数；依数学记例：设《α，b，c)是一个三事件集，且力（a）=0.5，p(b）=0.25与p（c）=0.25是各事件出现的概率，贝各事件的信息量为：
I(a)=lb
Sh=1 Sh
I(6b)=lb
Sh=2 Sh
Sh=2 Sh
I(c)=lb
焰entropy
平均信息量
average information content
负熵（在此意义下不推荐使用）negentropy（deprecated）完备互斥事件的有限集合中，各事件的信息量的均值；依数学记法为：H(X) =
p(x;)/(x:）=
Zp(a:)log
式中X=(，，)是事件;（i=l，，n)的集合，I(;)是事件;的信息量，（;）是各事件出现的概率，满足
p(r) =1
例：设X=(a，b,c)是一个三事件集，p(a）=0.5，(b)=0.25与p(c）=0.25是三事件出现的概率，则该集的熵是：
H(X)=p(a)I(a)+p(b)I(b)+p(c)I(c)=1.5 Sh译注：原文中的（.,）与（i=1..n)似有疏漏，已分别修改为（1，.*，>与（i=1，，n）。16.03.04bZxz.net
商relativeentropy
相对炳
炳H与决策量H。之比H；依数学记法为H.=H/H
例：设X=(a,b,c)是一个三事件集，p(a）=0.5，p(b）=0.25与p（c)=0.25是三事件出现的概率，则该集的相对摘是：
H,=1.5Sh/1.580Sh=0.95
GB/T5271.16—2008/ISO/IEC2382-16:1996余量（用于信息论）redundancy（ininformationtheory）决策量H。超过熵H的总量R，依数学记法为R=H。-H
注：通常，采用适宜代码后，能以较少字符表示消息；允余量可视为采用适当编码使消息的平均长度减少的一种测度。
例：设(a，b，c)是一个三事件集，p(a）=0.5，p(b)=0.25与p(c)=0.25是各事件出现的概率，则该集的允余量为R=1.58Sh-1.50Sh=0.08Sh
16.04导出定量术语
相对余relativeredundancy
穴余量R与决策量H。之比r；依数学记法为r=R/H
注：相对余度又等于相对嫡H,对1的补：r=1-H,
条件信息量
conditional information content假定另一事件出现时，关于事件出现的信息的一种定量测度一一等于给定事件时事件文的条件概率p（ly)的倒数的对数；依数学记法，这一测度为I(ly)=log p(αl)
注：条件信息量又是两事件的联合信息量超过第二事件信息量的总量：I(ly)=I(y)I()
联合信息量jointinformationcontent关于两事件与出现的信息的一种定量测度对数：
商conditionalentropy
条件炳
等于其同时出现的联合概率p（，y)的倒数的I(,y)=log p(x,y)
平均条件信息量
量mean conditional information content;average conditional information content假定另一完备互事件集合中的各事件出现时，某一完备互斥事件的有限集合中各事件的条件信息量的均值；依数学记法，这一测度为H(XIY)=
p(riy)/(r:/y）
式中.X={α,,是事件（i=1，,n）的集合，Y=（yi，，ym）是事件y,（j=l，…m）的集合，I（;ly;）是给定y；时：的条件信息量，p（:，y;）是两事件同时出现的联合概率。译注：原文中的（r*r），（i=1.**n），（y.**ym）与（j=1**m）似有疏漏，应分别修改为《r，..*，），（i=1，，n）(y,,y.}与(j=l,..,m)。
量equivocation
存疑量
给定消息汇处的特定消息集时，消息源处特定消息集的条件炳，其中的消息汇通过特定信道与该消息源相连。
注：存疑量是在该消息汇处必须为每消息提供的平均附加信息量，以便修正所接收的受带噪声信道影响的消息。GB/T5271.16—2008/ISO/IEC2382-16:199616.04.06
偏离量
irrelevance
弥散量
prevarication;spread
给定消息源处特定的消息集时，消息汇处特定消息集的条件熵，其中的消息源通过特定信道与该消息汇相连。
量transinformation content
转移信息量
量transferred information content传送信息量
发送信息量transmitted informationcontent互信息量
mutual information content
给定另一事件出现时，由某一事件r的出现所输送的信息量I（r）与同一事件的出现所输送的条件信息量I（l)之差；依数学记法，这一测度为T(r,y)=I(r)-I(r,y)
注1：特别地，这两个事件与y都是信道消息源处的一条消息，又是信道消息汇处的一条消息注2：转移信息量又可表达成
T(,)=I()+I(y)-I(ly)
式中I(y)是事件y的信息量。由此推出此表达式对与是对称的：T(t,y)=T(y,a)
译注：原文中的一个I（a，y），应修改为I（α|y）。术语“transinformationy；content”应修改为“transinformation content”，其余三个替代术语后均应加“content”。16.04.08
平均转移信息量
mean transinformation contentaverage transinformation content对分别属于完备互事件的两个有限集的两事件，其转移信息量的均值；依数学记法，这一测度为T(X,Y) =
(;y,)T(,y,)
式中：X=《ai，.\,是事件;（i=l，,n)的集合，Y=《y1，，ym事件y,（j=l，,m）的集合T（:，y,)是；与y；的转移信息量，p(:，y)是该两事件同时出现的联合概率。注1：平均转移信息量对X与Y对称；又等于两事件集之一的炳与该集相对于另一集的条件炳之差：T(X,Y)=H(X)-H(XIY) = H(Y)-H(YIX) = T(Y,X)注2：平均转移信息量T(X,Y)是通过信道所传输信息的一种定量测度，此时X是消息源处的特定消息集，Y是消息汇处的特定消息集；等于消息源处的与疑义量之差，或消息汇处的煽与不切题量之差译注1：同16.04.04中的译注。
译注2：本条目注2开始处的“Themean transinformation content”，其后似应补加“T（X，Y）”。16.04.09
商charactermeanentropy
字符平均熵
字符平均信息量
character mean information content;character average information content字符信息率characterinformationrate平稳消息源中所有可能消息的炳对每字符的平均值；依数学记法，定义为极限H.
H' = lim
式中H是出自该源中m个字符的所有序列的集合的熵。注1：字符平均嫡可借助某一单位(例如香农每字符)来表达。注2：当此源非平稳时，该极限可以不存在。6
平均信息率
averageinformationrate
GB/T5271.16—2008/ISO/IEC2382-16:1996字符平均熵H除以一个字符的平均持续期之商；依数学记法，这一量是H*=H'/t(X)
式中X=（，，,)是字符（i=l，，n）的集合，而t(X):
p(;)t(a:)
是出现概率为p（;）的字符；的持续期t（:)的平均值。注：平均信息率可借助某一单位（例如香农每秒)来表达。译注：原文中的)与（i1n）应分别修改为（，…，)与（i=1，,n）。16.04.11
字符平均转移信息量
量character mean transinformation content平稳消息源中所有可能消息的平均转移信息量对每字符的均值；依数学记法，定义为极限，T
T' = lim
式中T是每次m个字符的所有对应的输人与输出序列对的平均转移信息量，注：字符平均转移信息量可借助某一单位（例如香农每字符）来表达。16.04.12
平均转移信息率
averagetransinformationrate
字符平均转移信息量T除以一对输入与输出字符的平均持续期之商；依数学记法，这一量为T*=T'/t(X,Y)
式中X=《i，，是输人字符;（i=1，，n）的集合，Y=（yi，…，ym）是输出字符y,（j=l，\.m）的集合，而
t(X,Y) =
Zp(a:+y,)t(aiy,)
是同时出现联合概率为p（:，y,）的字符对（i，y,）的持续期t（i，y,）的平均值，注：平均转移信息率可借助某一单位（例如香农每秒)来表达译注：见16.04.04的译注。
量channel capacity
信道容量
对受特定约束的给定信道，从规定的消息源发送消息的能力的测度一一表达为最大可能的字符平均转移信息量或最大可能的平均转移信息率（这两种最大值都能通过采用适当的代码以任意小的出错概率来达到）。
小提示：此标准内容仅展示完整标准里的部分截取内容，若需要完整标准请到上方自行免费下载完整标准文档。