《信息论与编码原理信源及其信息量》由会员分享，可在线阅读，更多相关《信息论与编码原理信源及其信息量（309页珍藏版）》请在金锄头文库上搜索。
1、第1页,2018/10/17,Department of Electronics and Information, NCUT Song Peng,信息论与编码原理,（第二章） 信源及其信息量,第2页,2018/10/17,Department of Electronics and Information, NCUT Song Peng,第二章 信源及其信息量,本章重点：信源的统计特性和数学模型、各类信源的信息测度熵及其性质。2.1 单符号离散信源 2.2 扩展信源 2.3 连续信源 2.4 离散无失真信源编码定理 2.5 小结,第3页,2018/10/17,Department of Elec
2、tronics and Information, NCUT Song Peng,2.1 单符号离散信源,2.1.1 离散变量的自信息量 2.1.2 信息熵 2.1.3 熵的基本性质和定理 2.1.4 互信息量 2.1.5 熵之间的关系,第4页,2018/10/17,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,信息度量的方法：最常用的方法是统计度量。 在通信系统中收信者在未收到消息以前，对信源发出什么消息是不确定的。 不确定性可以用概率论与随机过程来描述。 香农信息论的基本假说：用随机变量研究
3、信息。(1) 信源的描述方法 (2) 单符号离散信源数学模型 (3) 自信息量和条件自信息量,2.1 单 符 号 离 散 信 源,第5页,2018/10/17,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(1) 信源的描述方法 离散信源：输出的消息常常是以一个个符号形式出现，这些符号的取值是有限的或可数的。 单符号离散信源：只涉及一个随机事件，可用随机变量描述。 扩展信源/多符号离散信源：每次输出是一个符号序列，序列中每一位出现哪个符号都是随机的，而且一般前后符号之间是有依赖关系的。可用随机
4、矢量描述。 连续信源：输出连续消息。可用随机过程描述。,2.1 单 符 号 离 散 信 源,第6页,2018/10/17,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(2) 单符号离散信源数学模型单符号离散信源的数学模型就是离散型的概率空间：X 随机变量，指的是信源整体 xi 随机事件的某一结果或信源的某个元素 p(xi)=P(X=xi) 随机事件 X 发生某一结果 xi 的概率。 n 是有限正整数或可数无限大,2.1 单 符 号 离 散 信 源,第7页,2018/10/17,Departm
5、ent of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 自信息量 联合自信息量 条件自信息量,2.1 单 符 号 离 散 信 源,第8页,2018/10/17,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 自信息量信息量与不确定性信源中某一消息发生的不确定性越大，一旦它发生，并为收信者收到后，消除的不确定性就越大，获得的信息也就越大。由于种种原因（例如噪声太大），收信者接收到受干扰
6、的消息后，对某信息发生的不确定性依然存在或者一点也未消除时，则收信者获得较少的信息或者说一点也没有获得信息。,2.1 单 符 号 离 散 信 源,第9页,2018/10/17,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 自信息量信息量与不确定性信息量的直观定义：收到某消息获得的信息量不确定性减少的量 (收到此消息前关于某事件发生的不确定性)(收到此消息后关于某事件发生的不确定性),2.1 单 符 号 离 散 信 源,第10页,2018/10/17,Department of
7、 Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 自信息量信息量与不确定性信息量的直观定义：在无噪声时，通过信道的传输，可以完全不失真地收到所发的消息，收到此消息后关于某事件发生的不确定性完全消除，此项为零。因此：收到某消息获得的信息量收到此消息前关于某事件发生的不确定性信源输出的某消息中所含有的信息量,2.1 单 符 号 离 散 信 源,第11页,2018/10/17,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量
8、的自信息量,(3) 自信息量 自信息量不确定性与发生概率事件发生的概率越小，我们猜测它有没有发生的困难程度就越大，不确定性就越大。事件发生的概率越大，我们猜测这件事发生的可能性就越大，不确定性就越小。概率等于 1 的必然事件，就不存在不确定性。某事件发生所含有的信息量应该是该事件发生的先验概率的函数。,2.1 单 符 号 离 散 信 源,第12页,2018/10/17,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 自信息量不确定性与发生概率函数 f p(xi) 应满足以下 4
9、 个条件：f p(xi) 应是 p(xi) 的单调递减函数当 p(x1) p(x2) 时， f p(x1) f p(x2)当 p(xi) =1时， f p(xi) =0当 p(xi) =0时， f p(xi) =两个独立事件的联合信息量应等于它们分别的信息量之和。即统计独立信源的信息量等于它们分别的信息量之和。,2.1 单 符 号 离 散 信 源,第13页,2018/10/17,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 自信息量不确定性与发生概率根据上述条件可以从数学上证
10、明这种函数形式是对数形式。,2.1 单 符 号 离 散 信 源,第14页,2018/10/17,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 自信息量不确定性与发生概率用概率测度定义信息量：设离散信源 X，其概率空间为：如果知道事件 xi 已发生，则该事件所含有的自信息定义为：X，Y，Z 代表随机变量，指的是信源整体； xi , yj , zk 代表随机事件的某一结果或信源的某个元素。不可混淆!,2.1 单 符 号 离 散 信 源,第15页,2018/10/17,Depart
11、ment of Electronics and Information, NCUT Song Peng,概率复习,2.1 单 符 号 离 散 信 源,第16页,2018/10/17,Department of Electronics and Information, NCUT Song Peng,概率复习,2.1 单 符 号 离 散 信 源,第17页,2018/10/17,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 自信息量自信息含义当事件 xi 发生以前：表示事件 xi
12、发生的不确定性。当事件 xi 发生以后：表示事件 xi 所含有（或所提供）的信息量。在无噪信道中，事件 xi 发生后，能正确无误地传输到收信者，所以 I(xi) 可代表接收到消息 xi 后所获得的信息量。这是因为消除了 I(xi) 大小的不确定性，才获得这么大小的信息量。,2.1 单 符 号 离 散 信 源,第18页,2018/10/17,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 自信息量自信息含义自信息的测度单位及其换算关系如果取以 2 为底，则信息量单位称为比特如果取
13、以 e 为底，则信息量单位称为奈特,2.1 单 符 号 离 散 信 源,第19页,2018/10/17,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 自信息量自信息含义自信息的测度单位及其换算关系如果取以 10 为底，则信息量单位称为哈特1奈特1.433特 1哈特3.322比特一般都采用以“2”为底的对数，为了书写简洁，有时把底数 2 略去不写。,2.1 单 符 号 离 散 信 源,第20页,2018/10/17,Department of Electronics and I
14、nformation, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 联合自信息量 信源模型为：其中：0p(xiyj)1 (i=1,2,n; j=1,2, ,m)， 则联合自信息量为：,2.1 单 符 号 离 散 信 源,第21页,2018/10/17,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 联合自信息量 当 X 和 Y 相互独立时，p(xiyj)=p(xi) p(yj)两个随机事件相互独立时，同时发生得到的信息量，等于各自自信息量之和
15、。,2.1 单 符 号 离 散 信 源,第22页,2018/10/17,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 条件自信息量 设 yj 条件下，发生 xi 的条件概率为 p(xi /yj)，那么它的条件自信息量 I(xi/yj) 定义为：表示在特定条件下（yj已定）随机事件 xi 所带来的信息量 同理，xi 已知时发生 yj 的条件自信息量为：,2.1 单 符 号 离 散 信 源,第23页,2018/10/17,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 条件自信息量 自信息量、条件自信息量和联合自信息量之间的关系,2.1 单 符 号 离 散 信 源,第24页,2018/10/17,Department of Electronics and Information, NCUT Song Peng,2.1.2 信息熵,(1) 信息熵 信息熵平均信息量 信息熵的三种物理含义 信息熵与平均获得的信息量 (2) 条件熵 条件熵定义 条件熵,2.1 单 符 号 离 散 信 源,
