信息论与编码第二章复习

《信息论与编码第二章复习》由会员分享，可在线阅读，更多相关《信息论与编码第二章复习（101页珍藏版）》请在金锄头文库上搜索。

1、第二章,连续、离散,有记忆、无记忆,连续（最大熵定理）,离散,单符号,序列：(有记忆，极限熵）,第二章 信源及信源熵,第一节 信源的描述和分类,第二节 离散信源熵和互信息,第四节 连续信源的熵和互信息,第三节 离散序列信源的熵,第五节 冗余度,本章重点,离散/连续信源熵和互信息,第二章 信源及信源熵,本章难点,离散序列有记忆信源的熵,第一节 信源的描述和分类,一、香农信息论的基本点,用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息。,二、信源的分类,按照信源发出的消息在时间上和幅度上的分布情况分成两大类,第一节 信源的描述和分类,连续信源指发出在时间和幅度上都是连续分布的连

2、续消息（模拟消息）的信源，如语言、图像、图形等,离散信源指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号，消息有限或可数。离散信源又有两种不同的分类方法：,第一节 信源的描述和分类,第一节 信源的描述和分类,Back,第一节 信源的描述和分类,发出符号序列的有记忆信源指用信源发出的一个符号序列的联合概率来反映有记忆信源的特征。,发出符号序列的马尔可夫信源指某一个符号出现的概率只与前面一个或有限个符号有关，而不依赖更前面的那些符号，可以用信源发出符号序列内各个符号之间的条件概率来反映记忆特征。,第一节 信源的描述和分类,三、先验概率及概率空间的形式,符号 的先验概率,一

3、个离散信源发出的各个符号消息的集合为,概率分布为：,，,称为符号,的先验概率。通常把它们写,到一起，记作为概率空间：,第一节 信源的描述和分类,显然有,注意：X，Y，Z代表随机变量，指的是信源整体；代表随机事件的某一结果或信源的某 个元素，不可混淆!,2.2.1 自信息量,信源发出某一符号 后，它提供多少信息量？,在通信的一般情况下，收信者所获取的信息量，在数量上等于通信前后不确定性的消除(减少)的量。,用I(xi ; yj)表示收到yj后，从yj中获取关于xi的信息量,2.2.1 自信息量,I(xi ; yj)收到yj前，收信者对xi 存在的不确定性(先验不定度) 收到yj后，收信者对xi仍

4、然存在的不确定性(后验不定度) 收信者收到yj前、后，对xi存在的不确定性的消除。,2.2.1 自信息量,若为无噪信道，则有 yj = xi ，收信者确切无误地收到信源发出的消息。那么 （收到yj后，收信者对 xi仍然存在的不确定性） 0 ， I(xi ; yj) 变为 I( xi ), 表示收到xi后，从xi中获取关于xi的信息量，也就是xi本身所含有的信息量，即能提供的全部信息量，我们称之为xi 的“自信息量”。 所以：I(xi) 收到xi前，收信者对信源发xi的不确定性。 这就是说，信源符号 xi 的自信息量，在数量上等于信源发符号 xi 的不确定性。,定义：一个随机事件的自信息量定义为

5、其出现概率倒数的对数。即:,2.2.1 自信息量,自信息量,说明： 因为概率 越小， 的出现就越稀罕，一旦出现，所获得的信息量也就较大。由于 是随机出现的，它是X的一个样值，所以是一个随机量。而 是 的函数，它必须也是一个随机量。,自信息量的单位的确定 在信息论中常用的对数底是2，信息量的单位为比特（bit ：binary unit ）； 若取自然对数，则信息量的单位为奈特（nat： nature unit ）； 若以10为对数底，则信息量的单位为哈特（det：hartley ）。这三个信息量单位之间的转换关系如下：1 natlog2e l.433 bit，l detlog210 3.322

6、bit,2.2.1 自信息量,自信息量I(xi)的性质： I(xi)是非负值； 当P(xi) =1时， I(xi)=0； 当P(xi) =0时， I(xi)= ； I(xi)是P(xi) 的单调递减函数；即 若p(x1)I(x2),2.2.1 自信息量,几个例子,一个以等概率出现的二进制码元（0，1）所包含的自信息量为：I（0）= I（1）= - log2 （1/2）=log22=1 bit,2.2.1 自信息量,若是一个m位的二进制数，因为该数的每一位可从0, 1两个数字中任取一个，因此有2m个等概率的可能组合。所以I= -log2(1/2m)=m bit，就是需要m比特的信息来指明这样的二

7、进制数。,定义：随机事件的不确定度在数量上等于它的自信息量说明: 两者的单位相同，但含义却不相同。 具有某种概率分布的随机事件不管发生与否，都存在不确定度，不确定度表征了该事件的特性，而自信息量是在该事件发生后给予观察者的信息量。,不确定度,2.2.1 自信息量,一个出现概率接近于1的随机事件，发生的可能性很大，所以它包含的不确定度就很小；反之，一个出现概率很小的随机事件，很难猜测在某个时刻它能否发生，所以它包含的不确定度就很大；若是确定性事件，出现概率为1，则它包含的不确定度为0。,2.2.1 自信息量,两个消息xi，yj同时出现的联合自信息量 信源模型：,注意: 当xi,yj相互独立时，有

8、P(xiyj)=P(xi)P(yj)，那么就有 I(xiyj)=I(xi)+I(yj)。 xiyj所包含的不确定度在数值上也等于它们的自信息量。,2.2.1 自信息量,联合自信息量：,定义：在事件yj出现的条件下，随机事件xi发生的条件概率为 ，则它的条件自信息量定义为条件概率对数的负值：,注意: 在给定yj条件下，随机事件xi所包含的不确定度在数值上与条件自信息量相同，但两者含义不同。,2.2.1 自信息量,条件自信息量,例221,英文字母中“e” 出现的概率为0.105，“c”出现的概率为0.023，“o”出现的概率为0.001。分别计算它们的自信息量。解：“e”的自信息量 I（e）= -

9、 log2 0.105=3.25 bit“c”的自信息量 I（c）= -log2 0.023=5.44 bit“o”的自信息量 I（o）= -log2 0.0019.97 bit,2.2.1 自信息量,一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。 解: 依据题意这一随机事件的概率空间为,2.2.2 离散信源熵,例2-2-2,其中：x1表示摸出的球为红球事件，x2表示摸出的球是白球事件 . 如果摸出的是红球，则获得的信息量是I（x1）= -log2p（x1）= - log20.8 bit 如果摸出的是白球，则获得

10、的信息量是I（x2）= -log2p（x2）= -log20.2 bit,如果每次摸出一个球后又放回袋中，再进行下一次摸取。则如此摸取n次，红球出现的次数为np（x1）次，白球出现的次数为np（x2）次。随机摸取n次后总共所获得的信息量为np（x1）I（x1）+np（x2）I（x2）,则平均随机摸取一次所获得的信息量为H（X）= 1/nnp（x1）I（x1）+np（x2）I（x2）= -p（x1）log2p（x1）+p（x2）log2p（x2）,= 0.72比特/次,说明：,自信息量I（x1）和I（x2）只是表征信源中各个符号的不确定度，一个信源总是包含着多个符号消息，各个符号消息又按概率空间

11、的先验概率分布，因而各个符号的自信息量就不同。所以自信息量不能作为信源总体的信息量。,因为X中各符号xi的不确定度I（xi）为非负值，p（xi）也是非负值，且0 p（xi）1，故信源的平均不确定度H（X）也是非负量。 平均不确定度H（X）的定义公式与热力学中熵的表示形式相同，所以又把H（X）称为信源X的熵。熵是在平均意义上来表征信源的总体特性的，可以表征信源输出前，信源的平均不确定度。,离散信源熵H(X)(平均不确定度/平均信息量/平均自信息量)为信源中各个符号不确定度的数学期望， 即：,单位为比特/符号 或 比特/符号序列,定义：,Back,信息熵H(X)是表示信源输出后，每个消息(或符号)

12、所提供的平均信息量。某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，必有信源的熵值。,信息量则只有当信源输出符号而被接收者收到后，才有意义，这就是给予接收者的信息度量，这值本身也可以是随机量，也可以与接收者的情况有关。,当某一符号 的概率 为零时， 在熵公式中无意义，为此规定这时的 也为零。当信源X中只含一个符号 时，必定有 ，此时信源熵H（X）为零。,例 223,电视屏上约有 500 600= 3 105个格点，按每点有 10个不同的灰度等级考虑，则共能组成n=103x105个不同的画面。按等概率1/103x105计算，平均每个画面可提供的信息量为,=3 105 3.32 比特/

13、画面,有一篇千字文章，假定每字可从万字表中任选，则共有不同的千字文N=100001000=104000 篇仍按等概率1/100001000计算，平均每篇千字文可提供的信息量为H（X）log2N4 103 332 13 104 比特千字文,比较：,“一个电视画面”平均提供的信息量远远超过“一篇千字文”提供的信息量。,例224,设信源符号集X=x1,x2,x3，每个符号发生的概率分别为p（x1）=1/2，p（x2）l4，p（x3）14。则信源熵为H（X）=1/2log22+1/4log24+1/4log24=1.5 比特/符号,例225,该信源X输出符号只有两个，设为0和1。输出符号发生的概率分别

14、为p和q，pq=l。即信源的概率空间为,则二元信源熵为H（X）= -plogp-qlogq = -plogp-(1-p)log(1-p)=H(p),说明：,信源信息熵H（X）是概率p的函数，通常用H（p）表示。p取值于0，1区间。H（p）函数曲线如图所示。从图中看出，如果二元信源的输出符号是确定的，即p=1或q=1，则该信源不提供任何信息。反之，当二元信源符号0和1以等概率发生时，信源熵达到极大值，等于1比特信息量。,几个概念,定义：在给定某个yj条件下，xi的条件自信息量为I(xi/yj)，X 集合的条件熵H（X/yj）为H（X/yj）=在给定Y（即各个yj）条件下，X集合的条件熵H(X/Y

15、)定义为H（X/Y）= =,条件熵,相应地，在给定X（即各个xi）的条件下，Y集合的条件 熵H(Y/X)定义为H(Y/X)=,联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在下列关系,H（XY）H（X）H（YX）H（XY）H（Y）H（XY）,证明:由,所以,证明:由,所以,2.2.3 互信息,什么叫信源X的先验概率p(xi)?通常信宿可以预先知道信息X发出的各个符号消息的集合, 以及它们的概率分布p(xi)。,几个概念,什么叫后验概率?当信宿收到一个符号消息yj后，推测信源发出xi的条件概率p(xi/yj), i=1,2,N,j=1,2M。,什么叫互信息量?,互信息量为后验概率与先验概

16、率比值的对数 :,I（xi ; yj）= log,互信息量等于自信息量减去条件自信息量。,第三种表达方式：,互信息的性质,对称性: 当X和Y相互独立时，互信息为0 互信息量可为正值或负值。,什么叫平均互信息量?,互信息量 I (xi;yj) 在X集合上的统计平均值为：,平均互信息量 I（X；Y）为上述 I（X; yj）在 Y集合上的概率加权统计平均值:,说明:,在通信系统中，若发端的符号是X，而收端的符号是Y，I（X；Y）就是在接收端收到Y后所能获得的关于X的信息。 若干扰很大，Y基本上与X无关，或说X与Y相互独立，那时就收不到任何关于X的信息. 若没有干扰，Y是X的确知一一对应函数，那就能完全收到X的信息H（X）。,