《信息论与编码原理_第2章_信源及其信息量课件》由会员分享，可在线阅读，更多相关《信息论与编码原理_第2章_信源及其信息量课件（309页珍藏版）》请在金锄头文库上搜索。
1、第1页,2020/9/20,Department of Electronics and Information, NCUT Song Peng,信息论与编码原理,（第二章）信源及其信息量,第2页,2020/9/20,Department of Electronics and Information, NCUT Song Peng,第二章 信源及其信息量,本章重点：信源的统计特性和数学模型、各类信源的信息测度熵及其性质。 2.1 单符号离散信源 2.2 扩展信源 2.3 连续信源 2.4 离散无失真信源编码定理 2.5 小结,第3页,2020/9/20,Department of Electro
2、nics and Information, NCUT Song Peng,2.1 单符号离散信源,2.1.1 离散变量的自信息量 2.1.2 信息熵 2.1.3 熵的基本性质和定理 2.1.4 互信息量 2.1.5 熵之间的关系,第4页,2020/9/20,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,信息度量的方法：最常用的方法是统计度量。 在通信系统中收信者在未收到消息以前，对信源发出什么消息是不确定的。 不确定性可以用概率论与随机过程来描述。 香农信息论的基本假说：用随机变量研究信息。
3、(1) 信源的描述方法 (2) 单符号离散信源数学模型 (3) 自信息量和条件自信息量,2.1 单 符 号 离 散 信 源,第5页,2020/9/20,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(1) 信源的描述方法 离散信源：输出的消息常常是以一个个符号形式出现，这些符号的取值是有限的或可数的。 单符号离散信源：只涉及一个随机事件，可用随机变量描述。 扩展信源/多符号离散信源：每次输出是一个符号序列，序列中每一位出现哪个符号都是随机的，而且一般前后符号之间是有依赖关系的。可用随机矢量描述
4、。 连续信源：输出连续消息。可用随机过程描述。,2.1 单 符 号 离 散 信 源,第6页,2020/9/20,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(2) 单符号离散信源数学模型 单符号离散信源的数学模型就是离散型的概率空间： X 随机变量，指的是信源整体 xi 随机事件的某一结果或信源的某个元素 p(xi)=P(X=xi) 随机事件 X 发生某一结果 xi 的概率。 n 是有限正整数或可数无限大,2.1 单 符 号 离 散 信 源,第7页,2020/9/20,Department
5、of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 自信息量 联合自信息量 条件自信息量,2.1 单 符 号 离 散 信 源,第8页,2020/9/20,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 自信息量 信息量与不确定性 信源中某一消息发生的不确定性越大，一旦它发生，并为收信者收到后，消除的不确定性就越大，获得的信息也就越大。 由于种种原因（例如噪声太大），收信者接收到受干扰的消
6、息后，对某信息发生的不确定性依然存在或者一点也未消除时，则收信者获得较少的信息或者说一点也没有获得信息。,2.1 单 符 号 离 散 信 源,第9页,2020/9/20,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 自信息量 信息量与不确定性 信息量的直观定义： 收到某消息获得的信息量不确定性减少的量 (收到此消息前关于某事件发生的不确定性) (收到此消息后关于某事件发生的不确定性),2.1 单 符 号 离 散 信 源,第10页,2020/9/20,Department of
7、 Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 自信息量 信息量与不确定性 信息量的直观定义： 在无噪声时，通过信道的传输，可以完全不失真地收到所发的消息，收到此消息后关于某事件发生的不确定性完全消除，此项为零。因此： 收到某消息获得的信息量 收到此消息前关于某事件发生的不确定性 信源输出的某消息中所含有的信息量,2.1 单 符 号 离 散 信 源,第11页,2020/9/20,Department of Electronics and Information, NCUT Song Peng,2.1.1
8、 离散变量的自信息量,(3) 自信息量 自信息量 不确定性与发生概率 事件发生的概率越小，我们猜测它有没有发生的困难程度就越大，不确定性就越大。 事件发生的概率越大，我们猜测这件事发生的可能性就越大，不确定性就越小。 概率等于 1 的必然事件，就不存在不确定性。 某事件发生所含有的信息量应该是该事件发生的先验概率的函数。,2.1 单 符 号 离 散 信 源,第12页,2020/9/20,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 自信息量 不确定性与发生概率 函数 f p(
9、xi) 应满足以下 4 个条件： f p(xi) 应是 p(xi) 的单调递减函数 当 p(x1) p(x2) 时， f p(x1) f p(x2) 当 p(xi) =1时， f p(xi) =0 当 p(xi) =0时， f p(xi) = 两个独立事件的联合信息量应等于它们分别的信息量之和。即统计独立信源的信息量等于它们分别的信息量之和。,2.1 单 符 号 离 散 信 源,第13页,2020/9/20,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 自信息量 不确定性与发
10、生概率 根据上述条件可以从数学上证明这种函数形式是对数形式。,2.1 单 符 号 离 散 信 源,第14页,2020/9/20,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 自信息量 不确定性与发生概率 用概率测度定义信息量：设离散信源 X，其概率空间为： 如果知道事件 xi 已发生，则该事件所含有的自信息定义为： X，Y，Z 代表随机变量，指的是信源整体； xi , yj , zk 代表随机事件的某一结果或信源的某个元素。不可混淆!,2.1 单 符 号 离 散 信 源,第1
11、5页,2020/9/20,Department of Electronics and Information, NCUT Song Peng,概率复习,2.1 单 符 号 离 散 信 源,第16页,2020/9/20,Department of Electronics and Information, NCUT Song Peng,概率复习,2.1 单 符 号 离 散 信 源,第17页,2020/9/20,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 自信息量 自信息含义 当
12、事件 xi 发生以前：表示事件 xi 发生的不确定性。 当事件 xi 发生以后：表示事件 xi 所含有（或所提供）的信息量。在无噪信道中，事件 xi 发生后，能正确无误地传输到收信者，所以 I(xi) 可代表接收到消息 xi 后所获得的信息量。这是因为消除了 I(xi) 大小的不确定性，才获得这么大小的信息量。,2.1 单 符 号 离 散 信 源,第18页,2020/9/20,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 自信息量 自信息含义 自信息的测度单位及其换算关系 如
13、果取以 2 为底，则信息量单位称为比特 如果取以 e 为底，则信息量单位称为奈特,2.1 单 符 号 离 散 信 源,第19页,2020/9/20,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 自信息量 自信息含义 自信息的测度单位及其换算关系 如果取以 10 为底，则信息量单位称为哈特 1奈特1.433特 1哈特3.322比特 一般都采用以“2”为底的对数，为了书写简洁，有时把底数 2 略去不写。,2.1 单 符 号 离 散 信 源,第20页,2020/9/20,Depar
14、tment of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 联合自信息量 信源模型为： 其中：0p(xiyj)1 (i=1,2,n; j=1,2, ,m)， 则联合自信息量为：,2.1 单 符 号 离 散 信 源,第21页,2020/9/20,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 联合自信息量 当 X 和 Y 相互独立时，p(xiyj)=p(xi) p(yj) 两个随机事件
15、相互独立时，同时发生得到的信息量，等于各自自信息量之和。,2.1 单 符 号 离 散 信 源,第22页,2020/9/20,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 条件自信息量 设 yj 条件下，发生 xi 的条件概率为 p(xi /yj)，那么它的条件自信息量 I(xi/yj) 定义为： 表示在特定条件下（yj已定）随机事件 xi 所带来的信息量 同理，xi 已知时发生 yj 的条件自信息量为：,2.1 单 符 号 离 散 信 源,第23页,2020/9/20,Dep
16、artment of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 条件自信息量 自信息量、条件自信息量和联合自信息量之间的关系,2.1 单 符 号 离 散 信 源,第24页,2020/9/20,Department of Electronics and Information, NCUT Song Peng,2.1.2 信息熵,(1) 信息熵 信息熵平均信息量 信息熵的三种物理含义 信息熵与平均获得的信息量 (2) 条件熵 条件熵定义 条件熵,2.1 单 符 号 离 散 信 源,第25页,2020/9/20,Department of Electronics and Information, NCUT Song Peng,2.1.2 信息熵,(1) 信息熵 信息熵平均信息量 自信息是一个随机变量：自信息是指某一信源发出某一消息所含有的信息量。所发出的消息不同，它们所含有的信息量也就不同。 平均信息量信息
