《信息论与编码原理第2章信源及其信息量》由会员分享，可在线阅读，更多相关《信息论与编码原理第2章信源及其信息量（309页珍藏版）》请在金锄头文库上搜索。
1、第1页,2017/9/24,Department of Electronics and Information, NCUT Song Peng,信息论与编码原理,（第二章）信源及其信息量,第2页,2017/9/24,Department of Electronics and Information, NCUT Song Peng,第二章 信源及其信息量,本章重点：信源的统计特性和数学模型、各类信源的信息测度熵及其性质。2.1 单符号离散信源2.2 扩展信源2.3 连续信源2.4 离散无失真信源编码定理2.5 小结,第3页,2017/9/24,Department of Electronics
2、and Information, NCUT Song Peng,2.1 单符号离散信源,2.1.1 离散变量的自信息量2.1.2 信息熵2.1.3 熵的基本性质和定理2.1.4 互信息量2.1.5 熵之间的关系,第4页,2017/9/24,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,信息度量的方法：最常用的方法是统计度量。在通信系统中收信者在未收到消息以前，对信源发出什么消息是不确定的。不确定性可以用概率论与随机过程来描述。香农信息论的基本假说：用随机变量研究信息。(1) 信源的描述方法(2
3、) 单符号离散信源数学模型(3) 自信息量和条件自信息量,2.1单符号离散信源,第5页,2017/9/24,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(1) 信源的描述方法 离散信源：输出的消息常常是以一个个符号形式出现，这些符号的取值是有限的或可数的。单符号离散信源：只涉及一个随机事件，可用随机变量描述。扩展信源/多符号离散信源：每次输出是一个符号序列，序列中每一位出现哪个符号都是随机的，而且一般前后符号之间是有依赖关系的。可用随机矢量描述。 连续信源：输出连续消息。可用随机过程描述。,
4、2.1单符号离散信源,第6页,2017/9/24,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(2) 单符号离散信源数学模型 单符号离散信源的数学模型就是离散型的概率空间：X 随机变量，指的是信源整体xi 随机事件的某一结果或信源的某个元素p(xi)=P(X=xi) 随机事件 X 发生某一结果 xi 的概率。n 是有限正整数或可数无限大,2.1单符号离散信源,第7页,2017/9/24,Department of Electronics and Information, NCUT Song
5、Peng,2.1.1 离散变量的自信息量,(3) 自信息量 自信息量 联合自信息量 条件自信息量,2.1单符号离散信源,第8页,2017/9/24,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 自信息量 信息量与不确定性 信源中某一消息发生的不确定性越大，一旦它发生，并为收信者收到后，消除的不确定性就越大，获得的信息也就越大。 由于种种原因（例如噪声太大），收信者接收到受干扰的消息后，对某信息发生的不确定性依然存在或者一点也未消除时，则收信者获得较少的信息或者说一点也没有获得
6、信息。,2.1单符号离散信源,第9页,2017/9/24,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 自信息量 信息量与不确定性 信息量的直观定义： 收到某消息获得的信息量不确定性减少的量 (收到此消息前关于某事件发生的不确定性) (收到此消息后关于某事件发生的不确定性),2.1单符号离散信源,第10页,2017/9/24,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3
7、) 自信息量 自信息量 信息量与不确定性 信息量的直观定义： 在无噪声时，通过信道的传输，可以完全不失真地收到所发的消息，收到此消息后关于某事件发生的不确定性完全消除，此项为零。因此： 收到某消息获得的信息量 收到此消息前关于某事件发生的不确定性 信源输出的某消息中所含有的信息量,2.1单符号离散信源,第11页,2017/9/24,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 自信息量 不确定性与发生概率 事件发生的概率越小，我们猜测它有没有发生的困难程度就越大，不确定性就越
8、大。 事件发生的概率越大，我们猜测这件事发生的可能性就越大，不确定性就越小。 概率等于 1 的必然事件，就不存在不确定性。 某事件发生所含有的信息量应该是该事件发生的先验概率的函数。,2.1单符号离散信源,第12页,2017/9/24,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 自信息量 不确定性与发生概率 函数 f p(xi) 应满足以下 4 个条件： f p(xi) 应是 p(xi) 的单调递减函数 当 p(x1) p(x2) 时， f p(x1) f p(x2) 当
9、p(xi) =1时， f p(xi) =0 当 p(xi) =0时， f p(xi) = 两个独立事件的联合信息量应等于它们分别的信息量之和。即统计独立信源的信息量等于它们分别的信息量之和。,2.1单符号离散信源,第13页,2017/9/24,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 自信息量 不确定性与发生概率 根据上述条件可以从数学上证明这种函数形式是对数形式。,2.1单符号离散信源,第14页,2017/9/24,Department of Electronics a
10、nd Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 自信息量 不确定性与发生概率 用概率测度定义信息量：设离散信源 X，其概率空间为： 如果知道事件 xi 已发生，则该事件所含有的自信息定义为：X，Y，Z 代表随机变量，指的是信源整体；xi , yj , zk 代表随机事件的某一结果或信源的某个元素。不可混淆!,2.1单符号离散信源,第15页,2017/9/24,Department of Electronics and Information, NCUT Song Peng,概率复习,2.1单符号离散信源,第16页,2017/9/2
11、4,Department of Electronics and Information, NCUT Song Peng,概率复习,2.1单符号离散信源,第17页,2017/9/24,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 自信息量 自信息含义 当事件 xi 发生以前：表示事件 xi 发生的不确定性。 当事件 xi 发生以后：表示事件 xi 所含有（或所提供）的信息量。在无噪信道中，事件 xi 发生后，能正确无误地传输到收信者，所以 I(xi) 可代表接收到消息 xi 后
12、所获得的信息量。这是因为消除了 I(xi) 大小的不确定性，才获得这么大小的信息量。,2.1单符号离散信源,第18页,2017/9/24,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 自信息量 自信息含义 自信息的测度单位及其换算关系 如果取以 2 为底，则信息量单位称为比特 如果取以 e 为底，则信息量单位称为奈特,2.1单符号离散信源,第19页,2017/9/24,Department of Electronics and Information, NCUT Song P
13、eng,2.1.1 离散变量的自信息量,(3) 自信息量 自信息量 自信息含义 自信息的测度单位及其换算关系 如果取以 10 为底，则信息量单位称为哈特 1奈特1.433特 1哈特3.322比特 一般都采用以“2”为底的对数，为了书写简洁，有时把底数 2 略去不写。,2.1单符号离散信源,第20页,2017/9/24,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 联合自信息量信源模型为：其中：0p(xiyj)1 (i=1,2,n; j=1,2, ,m)，则联合自信息量为：,2
14、.1单符号离散信源,第21页,2017/9/24,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 联合自信息量当 X 和 Y 相互独立时，p(xiyj)=p(xi) p(yj)两个随机事件相互独立时，同时发生得到的信息量，等于各自自信息量之和。,2.1单符号离散信源,第22页,2017/9/24,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 条件自信息量设 yj 条件下，发生 xi 的条件概率为 p(xi /yj)，那么它的条件自信息量 I(xi/yj) 定义为：表示在特定条件下（yj已定）随机事件 xi 所带来的信息量同理，xi 已知时发生 yj 的条件自信息量为：,2.1单符号离散信源,第23页,2017/9/24,Department of Electronics and Information, NCUT Song Peng,2.1.1 离散变量的自信息量,(3) 自信息量 条件自信息量自信息量、条件自信息量和联合自信息量之间的关系,2.1单符号离散信源,
