《信源与信源熵》由会员分享，可在线阅读，更多相关《信源与信源熵（27页珍藏版）》请在金锄头文库上搜索。
1、第 2 章 信源及信源熵1、教学目标： 本章是信息论中最重要、最基本的内容，学生在学完本章后应充分理解信源不确定性的 含义，熵函数H（X）的性质、平均互信息量的定义、性质，联合信源的联合熵、条件熵，离 散平稳信源的信源熵、极限熵等概念和计算方法。了解马尔可夫信源的定义和计算方法，掌 握高斯连续信源及其最大熵的计算方法。2、教学内容： 单符号离散信源、自信息和信息熵、多符号离散平稳信源、 离散无记忆信源的扩展信源、离散平稳信源的数学模型、马尔可夫信源、 信源冗余度及信息变差、连续信源、连续信源的熵 连续熵的性质及最大连续熵定理、熵功率21信源和信源的不确定性教学目标：1、信源的不确定性2、离散信
2、源数学定义信源发出消息，经过信道，到达信宿，信宿收到消息，获得了信息，这个过程就称作通 讯。我们现在来研究通讯的源头，也就是信源的特性。那么实际有用的信源应该具有什么特 性呢？我们认为它应该具有不确定性（不肯定性）。信源至少应该包含两种不同的消息，例 如两元信元（包含 0、 1），而信宿是知道信元发送（0、 1）的，但是它就是不知道在具体的 某一时刻，信源发送的是哪个消息。这是显然的，如果它知道，就不需要通讯了！所以必须 要经过通讯，然后信宿通过译码，信源发送的是哪个消息。如果信道中不存在噪声，也就是 干扰，那么信宿一定译码正确，通信可以无差错的进行了。所谓的不确定性就是说信宿对信 源哪个时刻
3、发送哪个消息不能肯定！而不是说信宿不知道信源有0、 1 这两个消息。反过来 统计的讲，发送某一个消息的概率是确定的。比如说发1 的概率是0.4, 发 1 的概率是0.6。但是下一时刻发送 0，还是 1，信宿不知道。2.1.1 不确定性的概念例 2.1.1某二元信源（含有两个不同消息的信源）发送1的概率0.99， 0的概率0.01，信宿 仅凭猜测就可以简单的认为信源发出的消息始终都是1，即使如此，猜错的概率仅为百分之 一。这说明在这种情况下，信源基本上在发送1，信源的不确定性很小。为什么信宿猜测的这么准呢？我们知道是因为信源发送0的概率很小，所以不确定度和 信源发送符号的概率是有关系的！例 2.
4、1.2某二元信源发送1和 0的概率相等，均为0.5，这时信宿不依赖通信仅凭猜测的话， 猜错的概率高达 50%。这说明在这种情况下，猜测信源发送什么消息就困难了，因为信源 发送什么消息相当不确定。例2.1.3如果信源具有更多的消息，例如发10个数字0,1例如采用4位十进制树的中 文电报），而且假定这是个消息是等概率分布的，均为0.1，这时信宿仅凭猜测的话，就更难 猜了。因为信源发送什么消息更加不确定。例 2.1.4现在讨论一种极端的情况，信源只发送一种消息，即永远只发送1或者只发送0， 从这样的信源中我们就不能从中获取任何信息，也就是说信源的不确定性为0。信源如果没有不确定性，那么就没有实用价值
5、。不确定度和发送的消息数目和发送符号 的概率有关。为了确切的描述信源，我们采用概率空间来描述信源。首先我们介绍一个概念，就是什么是离散信源。离散信源：若一类信源输出的消息常常是以一个个符号的形式出现，例如文字、字母等， 这些符号的取值是有限的或可数的，这样的信源称为离散信源。比如(0、1)二元信元，它 的消息是以一定的概率来出现的，所以可以采用概率空间来描述。单符号离散信源的数学模型可表示为XP(X)x,p(x1),x,2p( x ),2x,ip( x ),i2.1.1)其中p (xi)满足:n2.1.2)工 p(x .) = 1OW p(x.) Wl,匚i1公式(2.1.2)表示信源的可能取
6、值共有n个：xi，3,，亠，xn，每次必取其中之一。需要注意的是,大写字母 X,Y,Z 代表随机变量,指的是信源整体。带下标的小写字母x.,yj,zk 代表随机事件的某一结果或信源的某个元素。两者不可混淆。其中X,x2,xn为信源的消息；P(x1), P(x2),P(X )为各消息出现的概率。根据以上分析我们可以写出对应的概率空间：例 2.1.1例 2.1.2例 2.1.3Xp(X)Xp(X)Xp(X)1 0 0.99 0.01J1 0 0.5 0.5JJ 0110 0.1 0.10.1J对上面的四个例子进行归纳可以得出如下有用的结论：1) 信源的不确定程度与其概率空间的消息数和消息的概率分布
7、有关系2) 信源的消息为等概率分布时，不确定度最大3) 信源的消息为等概率分布，且其消息数目越多，其不确定度越大4) 只发送一个消息的信源，其不确定度为0 ，不发送任何信息2.1.2 信源不确定度的定义教学目标：1 、 信源不确定度的定义2、不确定度的性质 哈特莱认为应该用概率空间的概率的倒数的对数来度量信源不确定度。即：H(X)=Klog(1/p)令 K=1,则 H(X)= log(1/p)=-log p如果信源不是等概率分布时，则用I(Xi)= -log p(xi)表示信源输出一个消息Xi所提供的信 息量。现在来看哈特莱的定义是否与人们的认识相一致。人们认为：(1) 当某事件必然发生时，就
8、不存在不确定性，即不确定性为0。即 p(x.)=l 时，I(l)=-logl=0(2) 当某事件几乎不发生时(或发生概率很小)，其不确定性应趋于无穷大，即 lim Ip(x.)=-logO=8(3) 发生概率小的事件其不确定性比大概率事件大，即I(xl)=-logp(xl)I(x2)=-logp(x2),(p(x1)p(x2),则 I(x1) I(x2)(4) 两个互相独立事件的联合信息量应该等于他们分别的信息量之和 两个信源，排列组合，对数，成-加定义无所谓对和错，看是否有用。2.1.3 信息度量自信息量教学目标：1、消息 xi 的自信息量定义i2、自信息量性质3、联合信息量4、条件自信息量
9、1定义信息量的度量方法。若随机事件发生xi的概率为P(xi)，用I(xi)表示消息xi提供 提供的信息量，则：1I(xi)=log p(xi)称I(xi)为消息xi的自信息量，表示信源发出一个消息xi所带有的信息量。随机事件的不确定度：猜测某一随机事件是否会发生的难易程度，它在数量上等于它的 信息量，两者的单位相同，含义却不同。不管随机事件是否发生，都存在不确定度；而自信 息量是在该事件发生后给观察者带来的信息量。自信息量1 (xi)具有下列性质：(1) 是非负值；(2)当 p(xi)=1 时， I(xi)=0；(3)当 P(亠)=0 时，1 (“ =( 4 )是单调递减函数。信息量的三种单位
10、：比特bit对数取2为底奈特 nat 对数取 e 为底哈特莱hartley对数取10为底这三个信息单位之间的转换关系如下：1 nat=log2e -1.433 bit1 hart=log210 -3.322 bit1 bit-0.693 nat1 bit- 0.301 Hart2联合信息量涉及两个随机事件的离散信源，其信源模型为XY =/ x1y1,x1ym,x2y1,x2 ym,，Xny1，Xnym P( XY)p( x1 y1),p(x1ym),p(x2y1),p(x2ym),，p(x“y1),，p(xnym)JnmLL p(x y ) = 1 其中0 皿巧)1(i = 12,n; j =
11、 12,m), -(=1i j。其自信息量是二维联合集XY上元素对xiyj的联合概率P(Xiyj)对数的负数值，称为联合自信息量，用1 (Xiyj)表示，1(卩)一log2 p(卩)(2.1.4)当X和Y相互独立时，p(xiyj)= P(叮p(yj)，代入式(2.1.4)就有1(x.y.) = -iog2p(x)-iog2(y.) =1(x.)+I(y.)(215)i j2i2 jij说明两个随机事件相互独立时，同时发生得到的自信息量，等于这两个随机事件各自独立发 生得到的自信息量之和。3. 条件自信息量条件自信息量定义为条件概率的负值。设yj条件下，发生xi的条件概率为p( xi/ yj),
12、 那么它的条件自信息量1 (xi/ yj)定义为I(xi / yj) = -log2 叫 /yj)Qi)上式表示在特定条件(yj已定)下随机事件Xi发生所带来的信息量。同样，Xi已知时 发生yj的条件自信息量为1 (yj /xi) 一log2 P(yj /xi)(2.1.6b)在给定xi ( yj)条件下，随机事件发生yj (X.)所包含的不确定度在数值上与条件自信息 量1 (Xi/ yj) I (y； / x.)相同，即可用式(2.1.6 a或2.1.6b)计算，但两者的含义不同。不确 定度表示含有多少信息，信息量表示随机事件发生后可以得到多少信息。联合自信息量和条件自信息量也满足非负和单调
13、递减性，同时，它们也都是随机变量， 其值随着变量x.，y的变化而变化。容易证明，自信息量、条件自信息量和联合自信息量之间有如下关系：1 (Xiyj ) 一lOg2 P(叮P(yj / 叮=1 (G + 15 / 叮一 log2 叫)p( X. / yj ) = 1 (yj) + 1 (Xi / yj )。2.1.4 互信息量教学目标：1、互信息量定义及含义3、从三个角度看待互信息量4、互信息的性质5、通过训练题理解本节教学内容 可以将信息量重复定义为：/(信息量)=不肯定程度的减小量如果信道是无噪的，当信源发出消息七后，信宿必能准确无误地收到该消息，彻底消除对X.的不确定度，所获得的信息量就是
14、X.的不确定度1 (X.)，即X.本身含有的全部信息。 为什么不用信源发出多少信息量来定义呢，而用不肯定程度的减小量呢？这是因为在通 讯系统中一般都是有噪声的。信源发出的信息量因为噪声而减少，并不是信宿收到的信息量， 而“不肯定程度的减小量”确是信宿收到的信息量。不肯定程度减少到极端0，那么信源的 消息信宿也就都收到了。信宿在收信前后，其消息的概率分布发生了变化，即其概率空间变了。图2.1.1简单通信系统模型一般而言，信道中总是存在着噪声和干扰，信源发出消息 xi ，通过信道后信宿只可能 收到由于干扰作用引起的某种变形的yj。信宿收到后推测信源发出xi的概率，这一过程 可由后验概率p(xi/y
15、j)来描述。相应地，信源发出x的概率p(xi)称为先验概率。我们定义xi的后验概率与先验概率比值的对数为yj对xi的互信息量，也称交互信息量(简称互信息),用1 (xi; yj)表示，即p( x / y )I(xi;yj)=log2ij =1 j (i = 1,2,n； j = 1,2, p(x)i将式(2.1.7)展开，同时考虑到式(2.1.3)和(2.1.6a)有2.1.8)I(x ； y ) = -log p(x ) + log P(x / y ) = I(x ) -1(x / y )i j2 i2 i jii j式(2.1.8)表示互信息量等于自信息量减去条件信息量。自信息量在数量上与随机事件发出xi的不确定度相同，可以理解为对 一无所知的情况下xi存在的不确定度。同理，条件自 信息量在数量上等于已知yj的条件下，xi
