《信息论与编码 理论讲解》由会员分享，可在线阅读，更多相关《信息论与编码 理论讲解（74页珍藏版）》请在金锄头文库上搜索。
1、1,第二章 信源及信源熵,第一节 信源的描述和分类,第二节 离散信源熵和互信息,第三节 连续信源的熵和互信息,第四节 离散序列信源的熵,第五节 冗余度,2,本章重点,离散/连续信源熵和互信息,第二章 信源及信源熵,本章难点,离散序列有记忆信源的熵,3,信源 产生消息(符号)、消息序列和连续消息的来源 产生随机变量、随机序列和随机过程的源。 在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的,是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息,或者说用一个样本空间及其概率测度概率空间来描述信源 信源的基本特性：具有随机不确定性。,2.1 信源的描述和分类,4,2.1
2、信源的描述和分类,一、香农信息论的基本点,用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息。,二、信源的分类,按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类,信源,离散信源,连续信源,5,2.1 信源的描述和分类,连续信源连续信源是指发出在时间或幅度上都是连续分布的连续消息（模拟消息）的信源，如语言、图像、图形等都是连续消息。,离散信源离散信源是指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。,离散信源,离散无记忆信源,离散有记忆信源,发出单个符号的无记忆信源,发出符号序列的无记忆信源,发出符号序列的
3、有记忆信源,发出符号序列的马尔可夫信源,6,三、先验概率及概率空间的形式,一个离散信源发出的各个符号消息的集合为：,它们的概率分别为,p(xi)为符号xi的先验概率,单符号离散信源的数学模型概率空间,a,b,c,z,显然有，,7,2.1.1 无记忆信源,离散无记忆信源 所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。,例如扔骰子，每次试验结果必然是16点中的某一个面朝上。,用一个离散型随机变量X来描述这个信源输出的消息。,8,发出单个符号的信源 指信源每次只发出一个符号代表一个消息； 发出符号序列的信源 指信源每次发出一组含二个
4、以上符号的符号序列代表一个消息,离散无记忆信源,9,连续无记忆信源： 输出在时间和幅度上都是连续分布的消息 单符号连续无记忆信源的概率空间,随机取一节干电池测其电压值作为输出符号,符号取值为0,1.5之间的所有实数。该信源就是发出单符号的连续无记忆信源,10,发出符号序列的信源,设信源输出的随机序列为X =(X1X2XlXL) 序列中的变量Xlx1,x2, xn 这种由信源X输出的L长随机序列X所描述的信源称为离散无记忆信源X的L次扩展信源,11,随机序列的概率,当信源无记忆时,12,一般情况下,信源在不同时刻发出的符号之间是相互依赖的，也就是信源输出的平稳随机序列X中，各随机变量Xl之间是有
5、依赖的。 如在汉字序列中前后文字的出现是有依赖的，不能认为是彼此不相关的。 表述有记忆信源要比表述无记忆信源困难得多 离散有记忆信源 所发出的各个符号的概率是有关联的。 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源,2.1.2 有记忆信源,用信源发出的一个符号序列的整体概率(即联合概率)反映有记忆信源的特征,一个符号出现的概率只与前面一个或有限个符号有关,而不依赖更前面的那些符号,13,此时需要引入条件概率来反映信源发出符号序列内各个符号之间的记忆特征,表述的复杂度将随着序列长度的增加而增加。,实际上信源发出的符号往往只与前若干个符号有较强的依赖关系，随着长度的增加依赖关系越来越弱，因
6、此可以根据信源的特性和处理时的需要限制记忆的长度，使分析和处理简化。,14,离散信源的统计特性,离散消息是从有限个符号组成的符号集中选择排列组成的随机序列（组成离散消息的信息源的符号个数是有限的） 在形成消息时，从符号集中选择各个符号的概率不同 。 组成消息的基本符号之间有一定的统计相关特性 。,15,2.1.3 马尔可夫信源,马尔可夫信源 一类相对简单的离散平稳信源 该信源在某一时刻发出字母的概率除与该字母有关外,只与此前发出的有限个字母有关 m阶马尔可夫信源： 信源输出某一符号的概率仅与以前的m个符号有关，而与更前面的符号无关。 用概率意义表达为,16,2.2 离散信源熵和互信息,问题：什
7、么叫不确定度？什么叫自信息量？什么叫平均不确定度？什么叫信源熵？什么叫平均自信息量？什么叫条件熵？什么叫联合熵？联合熵、条件熵和熵的关系是什么？,17,什么叫后验概率？ 什么叫互信息量？ 什么叫平均互信息量？ 什么叫疑义度？ 什么叫噪声熵（或散布度）？ 数据处理定理是如何描述的？ 熵的性质有哪些？,2.2 离散信源熵和互信息,18,定义：一个随机事件的自信息量定义为其出现概率对数的负值。即:,2.2.1 自信息量,自信息量,说明： 因为概率 越小， 的出现就越稀罕，一旦出现，所获得的信息量也就较大。由于 是随机出现的，它是X的一个样值，所以是一个随机量。而 是 的函数，它必须也是一个随机量。,
8、19,自信息量的单位的确定 在信息论中常用的对数底是2，信息量的单位为比特（bit）； 若取自然对数，则信息量的单位为奈特（nat）； 若以10为对数底，则信息量的单位为笛特（det）。这三个信息量单位之间的转换关系如下：1 natlog2e l.433 bit，l detlog210 3.322 bit,2.2.1 自信息量,20,二进制码元0,1,当符号概率为p(0)=1/4, p(1)=3/4,则这两个符号的自信息量为：I(0) =log2 (1/4)=log24= 2bitI(1) =log2 (3/4) =0.4151 bit,一个以等概率出现的二进制码元(0，1)所包含的自信息量为
9、：I(0)= I(1)= log2 (1/2)=log22=1 bit,一个m位的二进制数,有2m个等概率的可能组合I=log2(1/2m)=m bit,2.2.1 自信息量,几个例子,21,定义：随机事件的不确定度在数量上等于它的自信息量说明: 两者的单位相同，但含义却不相同。 具有某种概率分布的随机事件不管发生与否，都存在不确定度，不确定度表征了该事件的特性，而自信息量是在该事件发生后给予观察者的信息量。,不确定度,2.2.1 自信息量,22,一个出现概率接近于1的随机事件，发生的可能性很大，所以它包含的不确定度就很小；反之，一个出现概率很小的随机事件，很难猜测在某个时刻它能否发生，所以它
10、包含的不确定度就很大；若是确定性事件，出现概率为1，则它包含的不确定度为0。,2.2.1 自信息量,23,I(xi)的特性： I (xi)是非负值 当p(xi) = 1时，I(xi) = 0 当p(xi) = 0时，I(xi) = I(xi)是先验概率p(xi)的单调递减函数，即当p(x1)p(x2)时，I (x1)I (x2) 两个独立事件的联合信息量等于它们分别的信息量之和。即统计独立信源的信息量等于它们分别的信息量之和。,24,两个消息xi，yj同时出现的联合自信息量,注意: 当xi,yj相互独立时，有P(xiyj)=P(xi)P(yj)，那么就有 I(xiyj)=I(xi)+I(yj)
11、。 xiyj所包含的不确定度在数值上也等于它们的自信息量。,2.2.1 自信息量,联合自信息量,25,定义：在事件yj出现的条件下，随机事件xi发生的条件概率为 ，则它的条件自信息量定义为条件概率对数的负值：,注意: 在给定yj条件下，随机事件xi所包含的不确定度在数值上与条件自信息量相同，但两者含义不同。,2.2.1 自信息量,4.条件自信息量,26,例221,英文字母中“e” 出现的概率为0.105，“c”出现的概率为0.023，“o”出现的概率为0.001。分别计算它们的自信息量。解：“e”的自信息量 I（e）= - log2 0.105=3.25 bit“c”的自信息量 I（c）= -
12、log2 0.023=5.44 bit“o”的自信息量 I（o）= -log2 0.0019.97 bit,2.2.1 自信息量,27,一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。 解: 依据题意这一随机事件的概率空间为,2.2.2 离散信源熵,例2-2-2,28,其中：x1表示摸出的球为红球事件，x2表示摸出的球是白球事件 . 如果摸出的是红球，则获得的信息量是I（x1）= -log2p（x1）= - log20.8 bit 如果摸出的是白球，则获得的信息量是I（x2）= -log2p（x2）= -log20
13、.2 bit,如果每次摸出一个球后又放回袋中，再进行下一次摸取。则如此摸取n次，红球出现的次数为np（x1）次，白球出现的次数为np（x2）次。随机摸取n次后总共所获得的信息量为np（x1）I（x1）+np（x2）I（x2）,29,则平均随机摸取一次所获得的信息量为H（X）= 1/nnp（x1）I（x1）+np（x2）I（x2）= -p（x1）log2p（x1）+p（x2）log2p（x2）,= 0.72比特/次,说明：,自信息量I（x1）和I（x2）只是表征信源中各个符号的不确定度，一个信源总是包含着多个符号消息，各个符号消息又按概率空间的先验概率分布，因而各个符号的自信息量就不同。所以自信
14、息量不能作为信源总体的信息量。,30,因为X中各符号xi的不确定度I（xi）为非负值，p（xi）也是非负值，且0 p（xi）1，故信源的平均不确定度H（X）也是非负量。平均不确定度H（X）的定义公式与热力学中熵的表示形式相同，所以又把H（X）称为信源X的熵。熵是在平均意义上来表征信源的总体特性的，可以表征信源的平均不确定度。,31,定义：离散信源熵H(X)(平均不确定度/平均信息量/平均自信息量) 定义信源的平均不确定度H(X)为信源中各个符号不 确定度的数学期望，即：,单位为比特/符号或比特/符号序列,信源熵具有以下三种物理含意： 信源熵H(X)表示信源输出后,每个离散消息所提供的平均信息量
15、。 信源熵H(X)表示信源输出前,信源的平均不确定度。 信源熵H(X)反映了变量X的随机性,32,某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，必有信源的熵值；这熵值是在总体平均上才有意义，因而是一个确定值，一般写成H（X），X是指随机变量的整体（包括概率分布）。信息量则只有当信源输出符号而被接收者收到后，才有意义，这就是给予接收者的信息度量，这值本身也可以是随机量，也可以与接收者的情况有关。当某一符号 的概率 为零时， 在熵公式中无意义，为此规定这时的 也为零。当信源X中只含一个符号 时，必定有 ，此时信源熵H（X）为零。,33,例：甲地天气预报,甲地提供的平均信息量大于乙地,
16、乙地天气预报,求：两地天气预报各自提供的平均信息量,34,甲、乙地天气预报为两极端情况：,信源是一确定信源，所以不存在不确定性，信息熵等于零。,35,甲、乙地天气预报为两极端情况：,这种情况下,信源的不确定性最大,信源熵最大。 甲地比乙地提供更多的信息量。因为甲地可能出现的消息数多于乙地可能出现的消息数。,36,例26 电视屏上约有 500 600= 3105个格点，按每点有 10个不同的灰度等级考虑，则共能组成个不同的画面。按等概率 计算，平均每个画面可提供的信息量为,3 105 3.32 比特/画面,37,有一篇千字文章，假定每字可从万字表中任选，则共有不同的千字文N=100001000=104000 篇仍按等概率1/100001000计算，平均每篇千字文可提供的信息量为H（X）log2N4 103 332 13 104 比特千字文,
