第二章 信源和信息熵1本章主要内容ØØ 离散信源的信息熵ØØ 连续信源的信息熵Ø 信源分类和描述2信源分类和描述3信源分类和描述=离散信源连续信源=4信源分类和描述单符号信源 X符号序列信源 XN （N次扩展信源）5信源分类和描述无记忆信源有记忆信源6信息的特性• 事件（消息）的信息量大小与其不确定 度（概率）有关 • 事件概率越小，信息量越大 • 确定性事件的信息量为零，不可能事件 的信息量为无穷大 • 信息量具有可加性7离散信源符号的信息量信息量定义 信息量单位 • 对数的底a = 2时，信息量单位为比特( bit）• 对数的底a = e时，信息量单位为奈特( nat）• 对数的底a = 3时，信息量单位为铁特( Tet）• 对数的底a = 10时，信息量单位为哈特( Hart） - 8离散信源的信息熵(Entropy)信息熵定义(信息量的统计平均或者说数学期望)信息熵单位 • 对数的底a = 2时，信息熵单位为比特/符号( bit/符号）• 对数的底a = e时，信息熵单位为奈特/符号( nat/符号）• 对数的底a = 3时，信息熵单位为铁特/符号( Tet/符号）• 对数的底a = 10时，信息熵单位为哈特/符号( Hart/符号） H(X) = = –注意：计算机技术中的术语“比特”表示一个二元数字，每个二元 数字所能提供的最大平均信息量为1比特。
9离散信源信息熵的含义• H(X)表示信源的平均不确定度——平均 信息量 • H(X)表示信源的随机性 • H(X)表示信源输出每个符号所提供的平 均信息量 • H(X)表示信宿所能获得的最大信息量 10条件自信息量与条件熵条件自信息量定义条件熵定义(条件自信息量的统计平均)I ( x|y ) = log= - - log p(x|y) === = 11联合自信息量与联合熵联合自信息量定义联合熵定义(联合自信息量的统计平均)I ( xy ) = log= - -log p(xy) ===12自信息量、条件信息量、联合信息量 三者之间的关系当事件x 和事件y 相互独立时有13信息熵、条件熵、联合熵 三者之间的关系当集合X 和集合Y 相互独立时有14离散二元信源的信息熵15有两个二元随机变量X和Y，它们的联合概率为并定义另一随机变量Z=X·Y（一般乘积)，试计算： (1) H(X)、H(Y)、H(Z)、H(XY)、H(XZ)、H(YZ) 、 H(XYZ) (2) H(X|Y)、H(X|Z)、H(Z|X)、 H(Z|Y)、 H(Y|Z)、 H(Y|XZ)、H(Z|XY)例题p(xy)x = 0x = 1 y = 01/83/8y = 13/81/816熵函数 H(p) 的性质信息熵 H(X) 的函数表达——H(p) 17(1)对称性(2)非负性(离散信源)(3)扩展性熵函数 H(p) 的性质18(4)确定性(5)可加性(6)极值性熵函数 H(p) 的性质19熵函数 H(p) 的性质 (7)上凸性小结：信息熵 —— 信息论中的最基础的基本概念—— 对随机变量不确定性的最好的度量—— 用来描述信源的信息特性20互信息量的提出与定义互信息量提出互信息量 =（收到消息之前关于某事件的不确定度）-（收到消息之后关于该事件的不确定度）= 消息不确定度的减小量 互信息量定义21条件互信息量与联合互信息量条件互信息量定义联合互信息量定义22自信息量与互信息量的区分 （表达方式和含义上）信息量互信息量23自信息量与互信息量的联系24自信息量与互信息量的异同异ü 非负性ü 互易性同ü 可加性25例题设某班学生在一次考试中获优（A）、良（B）、中 （C）、及格（D）和不及格（E）的人数相等。
当 教师通知某甲：“你没有不及格”，甲获得了多少比 特信息？为确定自己的成绩，甲还需要多少信息？26平均互信息量平均互信息量定义平均条件互信息量定义平均联合互信息量定义27(1)非负性(2)互易性(3)极值性平均互信息量 I(X;Y) 的性质不具有非负性28(4)I(X;Y)与信息熵的关系(5)凸函数性平均互信息量 I(X;Y) 的性质当 p(y|x) 给定时，I(X;Y) 是 p(x) 的上凸函数 当 p(x) 给定时，I(X;Y) 是 p(y|x) 的下凸函数29I(X;Y)与信息熵的关系I ( X ; Y ) = 0H ( X )H (Y )H ( XY )集合X与集合Y 相互独立的情况 30I(X;Y)与信息熵的关系H ( XY )H ( X|Y ) H (Y|X )H ( X )H (Y )H ( X|Y ) —— 含糊度或损失熵 H ( Y|X ) —— 散布度或噪声熵 31I(X;Y)与信息熵的关系H ( X ) = H (Y ) = I ( X ; Y ) H ( XY )集合X与集合Y 完全相关的情况 32I(X;Y)与信息熵的关系H(X|Y)33I(X;Y) 的凸函数性34I(X;Y) 的凸函数性35I(X;Y) 的凸函数性当 p(y|x) 给定时，I(X;Y) = f [p(x)] 是上凸函数。
当 p(x) 给定时，I(X;Y) = f [p(y|x)] 是下凸函数C — 信道容量R(D) —率失真函数36小结互信息量 —— 信息论中的另一个基本概念（差值）—— 对两个随机变量之间统计依存性的信息度量—— 用来描述信道特性和信源的压缩特性信息熵 —— 信息论中的最基础的基本概念—— 对随机变量不确定性的最好的度量—— 用来描述信源的信息特性37信息不增性原理(定理2.4)信道Ⅰp(y|x)信道Ⅱp(z|xy)XYZ当且仅当p(z|xy)= p(z|y)时，等号成立 38信息不增性原理(定理2.5)信道Ⅰp(y|x)信道Ⅱp(z|y)XYZ当且仅当Y和Z是一一对应关系时，等号成立 39平稳离散信源(1)平稳离散信源的概念(2)平稳离散信源的熵(3)信源的冗余度与信息速率Ø 信源的符号序列统计特性与时间的起点无关40平稳离散信源的熵随机矢量的熵（联合熵 ）极限熵（熵率）平均符号熵41定理定理2.6 2.6 设设证明：极限的存在性证明：极限的存在性为单调有界序列为单调有界序列 有记忆平稳离散信源的熵42我们有我们有43则则又又得得44定理说明：说明：• •随机变量之间的依赖性在某种程度上降低了信源随机变量之间的依赖性在某种程度上降低了信源 的不确定性，即使信源（符号）携带的信息量减的不确定性，即使信源（符号）携带的信息量减 少。
少• •当考虑依赖关系无限长时，平均符号熵和条件熵当考虑依赖关系无限长时，平均符号熵和条件熵 都是非递增地一致趋于平稳信源的极限熵都是非递增地一致趋于平稳信源的极限熵45无记忆平稳离散信源的熵无记忆平稳离散信源：信源输出为平稳独立的随 机序列46又各分量分布相同又各分量分布相同无记忆平稳离散信源的熵47无记忆平稳离散信源的熵随机矢量的熵（联合熵 ）极限熵平均符号熵48信源的冗余度与信息速率对于离散平稳信源对于离散平稳信源n n 理论上：实际的熵为理论上：实际的熵为 —— —— 即信源所能输即信源所能输出的信息量出的信息量————需要传递需要传递 的手段n n 实际上：因信源的统计特性了解不全实际上：因信源的统计特性了解不全————只能算出只能算出作为信源信息量作为信源信息量————需要传递需要传递 的手段分析：分析：造成传递手段上又富余造成传递手段上又富余————输出效率不高，不经济输出效率不高，不经济49• • 效率效率• • 冗余度冗余度• • 相对冗余度相对冗余度50例：自然语言信源的冗余度例：自然语言信源的冗余度英文英文2626个字母＋标点与间隔符号＝个字母＋标点与间隔符号＝2727，则，则 • • 信源字母携带的最大信息量信源字母携带的最大信息量 log27=4.76 bit/log27=4.76 bit/符号符号• • 基于字母、间隔出现的概率统计基于字母、间隔出现的概率统计H H1 1＝＝4.03 bit/4.03 bit/符号符号• • 基于两个、三个字母依赖关系概率统计基于两个、三个字母依赖关系概率统计H H2 2＝＝3.32 bit/3.32 bit/符号符号H H3 3＝＝3.1 bit/3.1 bit/符号符号51• • 的近似值为：的近似值为： = 1.4 bit/= 1.4 bit/符号符号效率效率相对冗余度相对冗余度传输英文语言时，传输英文语言时，71%71%是多余的！可以压缩是多余的！可以压缩71%71%的信的信 息量。
息量• • 冗余度存在可以增加抗干扰能力冗余度存在可以增加抗干扰能力 52信源的冗余度与信息速率信源的冗余度信息速率H∞ 实际信源熵H0 信源平均符号熵的最大值H(X) 信源熵信源符号平均时长53用用 的传统数学方法从离散情况向连续情况作推广的传统数学方法从离散情况向连续情况作推广连续信源的信息熵结论：连续信源的熵值无限结论：连续信源的熵值无限54的含义的含义 • • 从数学概念上：连续熵不存在连续随机变从数学概念上：连续熵不存在连续随机变 量所包含的信息量为无限大，我们不可能全量所包含的信息量为无限大，我们不可能全 部获取，我们关心的只是其中足以满足我们部获取，我们关心的只是其中足以满足我们 所需要的一部分所需要的一部分• • 从物理层面上：从物理层面上： 作为参考点，作为参考点， 是相对值，实际通信中关心的是熵差，所以是相对值，实际通信中关心的是熵差，所以 重点研究它符合信息理论研究的本质上的需重点研究它符合信息理论研究的本质上的需 求连续信源的信息熵55连续信源的信息熵连续信源的熵56相对熵（微分熵）相对熵（微分熵）对相对熵的说明对相对熵的说明 • • H Hc c( (X X) )不能作为不能作为连续信源连续信源X X的不确定性的量度的不确定性的量度 ，连续型随机变量的熵为无穷大。
非绝对值，连续型随机变量的熵为无穷大非绝对值 ，而为相对值定义与离散情形相统一而为相对值定义与离散情形相统一 • • H Hc c( (X X) )的取值：可能不存在，可能为负值的取值：可能不存在，可能为负值连续信源的相对熵571. 1. H Hc c( (X X) )不存在的例子不存在的例子设连续随机变量设连续随机变量 X X 有概率密度有概率密度 p p( (x x) ) 如下：如下：连续信源的相对熵582. 2. H Hc c( (X X) )取负值取负值设连续随机变量设连续随机变量 X X 有概率密度有概率密度 p p( (x x) ) 如下：如下：连续信源的相对熵59例例2.82.8：设连续型随机变量：设连续型随机变量X X 在区间在区间 [ [a,ba,b] ]上服从均匀上服从均匀 分布分布则则 连续信源的熵计算60例例2.92.9：具有正态分布（高斯分布）的连续型随机变量：具有正态分布（高斯分布）的连续型随机变量连续信源的熵计算61则则连续信源的熵计算62连续信源的信息熵连续信源的条件熵与联合熵63连续信源的互信息连续信源的互信息64连续信源的互信息连续信源的平均互信息连续信源的I(X;Y)：：取值有限；为非负值。
取值有限；为非负值65例:设有二维高斯概率密度函数—— 连续随机变量 X、Y 的均值—— 连续随机变量 X、Y 的方差—— 相关系数（归一化协方差）求 I(X;Y) = ?连续信源的平均互信息计算66连续信源的平均互信息计算67连续信源的平均互信息计算68连续信源的相对熵、 平均互信息的。