第二章信息的度量54页

《第二章信息的度量54页》由会员分享，可在线阅读，更多相关《第二章信息的度量54页（54页珍藏版）》请在金锄头文库上搜索。

1、Chapter 2 信息的度量,信息的度量,信息的可度量性统计度量：用事件统计发生概率的对数来描述事物的不确定性，得到消息的信息量，建立熵的概念； 信息测度熵概念是香农信息论最基本最重要的概念。,2.1 信源的数学模型及分类,符号 符号表 符号串,2.1 信源的数学模型及分类,离散信源：可能输出的消息是有限的或可数的，每次只输出一个消息，即两两不相容。 数学模型：,连续信源：可能输出的消息数是无限的或不可数的，每次只输出一个消息。 数学模型：,有记忆信源：输出的随机序列X中各随机变量之间有依赖关系，但记忆长度有限。,无记忆信源：互相独立的随机变量。 独立同分布信源,离散平稳信源：输出的随机序列

2、 中每个随机变量 取值是离散的，并且随机矢量X的各维概率分布不随时间平移而改变。 连续平稳信源：输出的随机序列 中每个随机变量 取值是连续的，并且随机矢量X的各维概率密度函数不随时间平移而改变。,2.2 信息的描述,先验概率 后验概率 信息=先验不确定性-后验不确定性,单符号离散信源的数学模型,离散信源只涉及一个随机事件，可用离散随机变量来表示。 单符号离散的数学模型X，Y，Z代表随机变量，指的是信源整体；代表随机事件的某一结果或信源的某个元素。不可混淆!,概率复习,2.3 不确定性与信息,2.3.1自信息量 定义,不是信息而是符号的先验不确定性,例2.1 假设一条电线上串联了8个灯泡 这8个

3、灯泡坏的可能性是等概率的，现假设这8个灯泡有一个也只有一个灯泡已损坏，解决办法： 在未测量前，损坏的先验概率 这时存在的不确定性是先验概率的函数 第一次测量：将灯泡以4个为一组，分为两组，第一次测试之后可知坏的灯泡在哪一组中。,这时后验概率 因此尚存在的不确定性是 第一次测量获得的信息量为：,第二次测量获得的信息量为：,第三次测量获得的信息量：,根据自信息量定义可知若以2为底，计算得：三次测量获得的信息量分别为1bit/符号,1bit/符号,1bit/符号,自信息量I(ai)的性质 I(ai)是非负值； 当P(ai) =1时， I(ai)=0； 当P(ai) =0时， I(ai)= ； I(a

4、i)是P(ai) 的单调递减函数 联合自信息量 信源模型(涉及两个随机事件)联合自信息量,条件自信息量 条件概率对数的负值 在特定条件下( 已定)随机事件 发生所带来的信息量 定义 联合自信息量和条件自信息量也满足非负和单调递减性。 关系当X和Y独立时，,例 甲在一个8*8的 方格盘上随意放入一个 棋子，在乙看来是不确定的。 (1)在乙看来，棋子落入某方格的不确定性为多少？ （2）若甲告知乙棋子落入方格的行号，这时，在乙看来棋子落入某方格的不确定性为多少？,二.互信息量和条件互信息量 信源发出消息 的概率 称为先验概率，信宿收到 后推测信源发出 的概率称为后验概率 。 定义 的后验概率与先验概

5、率比值的对数为对 的互信息量，用 表示，即互信息量等于自信息量减去条件自信息量。第三种表达方式：,例2.4 甲在一个8*8的 方格盘上随意放入一个 棋子，在乙看来是不确定的。 （1）若甲告知乙棋子落入方格的行号，这是乙得到了多少信息量。 （2）若告知了行号与列号，乙又得到了多少信息量。,互信息的性质 对称性 当X和Y相互独立时，互信息为0 互信息量可为正值或负值 条件互信息量 给定条件 下， 与 之间的互信息量，其定义式可加性书25页,问题与思考,课堂疑问?,某地二月份天气构成的信源为现有人告诉你:“今天不是晴天。”，把这句话作为收到的消息 。当收到消息 后，各种天气发生的概率变成后验概率了。

6、其中,计算 与各种天气之间的互信息量。,三.信源熵 信源熵 定义：信源各个离散消息的自信息量的数学期望（即概率加权的统计平均值）为信源的平均信息量，一般称为信源的信息熵，也叫信源熵或香农熵，有时也称为无条件熵或熵函数，简称熵。 公式：熵函数的自变量是X,表示信源整体，实质上是无记忆信源平均不确定度的度量。,例2.5 有一布袋内放了100个球，红球80个，百球20个，若随意摸取一个球，猜测是什么颜色。,小结：信源熵和H(X)的三种物理含义 表示信源输出后，每个离散消息所提供的平均信息量。 表示信源输出前，信源的平均不确定度。 反映了变量X的随机性。 条件熵 条件熵是在联合符号集合XY上的条件自信

7、息量的数学期望。在已知随机变量Y的条件下，随机变量X的条件熵定义为：,条件熵是一个确定值，表示信宿在收到Y后，信源X仍然存在的不确定度。这是传输失真所造成的。联合熵（共熵） 联合离散符号集合XY上的每个元素对 的联合自信息量的数学期望。 公式：,非负性 对称性 最大离散熵定理：信源X中包含n个不同离散消息时，信源熵H(X)有 ，当且仅当X中各个消息出现的概率全相等时，上式取等号。 表明等概率信源的不确定性最大，具有最大熵，且为 扩展性,2.1.3 信源熵的基本性质和定理,确定性可加性极值性,上凸性 对任何 和任何两个概率矢量P,Q,递增性(递推性) 若原信源X中有一元素划分(或分割)成m个元素

8、(符号),而这m个元素的概率之和等于原元素的概率,则新信源的熵增加。,定义 互信息量 是定量地研究信息流通问题的重要基础。但它只能定量地描述输入随机变量发出某个具体消息 ，输出变量出现某一个具体消息 时，流经信道的信息量；此外 还是随 和 变化而变化的随机变量。 互信息量不能从整体上作为信道中信息流通的测度。这种测度应该是从整体的角度出发，在平均意义上度量每通过一个符号流经信道的平均信息量。 定义互信息量 在联合概率空间 中的统计平均值为Y对X的平均互信息量，简称平均互信息，也称平均交互信息量或交互熵。,2.1.4平均互信息量,平均互信息 克服了互信息量 的随机性，可作为信道中流通信息量的整体

9、测度。 三种表达方式,平均互信息的物理意义 从三种不同角度说明从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。此即“信息就是负熵”,平均互信息量的性质 对称性： 非负性： 极值性：凸函数性 平均互信息量 是输入信源概率分布 的上凸函数，研究信道容量的理论基础。 平均互信息量 是输道转移概率 的下凸函数，研究信源的信息率失真函数的理论基础。 数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。,2.1.5 各种熵之间的关系,2.2 多符号离散平稳信源,信源每次输出的不是一个单个的符号,而是一个符号序列。通

10、常一个消息序列的每一位出现哪个符号都是随机的,而且一般前后符号之间的出现是有统计倚赖关系的,这种信源称之为多符号离散信源。 信源所发符号序列的概率分布与时间的起点无关，这种信源我们称之为多符号离散平稳信源。,2.2.1 序列信息的熵,如果有一个离散无记忆信源X，取值于集合 ，其输出消息序列可用一组组长度为N的序列来表示。即等效于一个新的信源。新信源每次输出的是长度为N的消息序列，用N维离散随机矢量来描述X= ，其中每个分量 都是随机变量，它们都取值于同一集合 ，且分量之间统计独立，则由随机矢量X组成的新信源称为离散无记忆信源X的N次扩展信源。 离散无记忆信源X的N次扩展信源(或称序列信源)的熵

11、就是离散信源X的熵的N倍。,理解,2.2.2 离散平稳信源的数学模型,对于随机变量序列 ，若任意两个不同时刻i和j,信源发出消息的概率分布完全相同，则称这种信源为一维平稳信源。 除上述条件外，如果联合概率分布也与时间起点无关，则称信源为二维平稳信源。这种信源在任何时刻发出两个符号的概率完全相同。 各维联合概率均与时间起点无关的完全平稳信源称为离散平稳信源。,例,求离散无记忆信源X的二次扩展信源。,2.2.3 离散平稳信源的信源熵和极限熵,N维离散平稳有记忆信源的熵离散平稳信源有记忆信源的联合熵 表示平均发一个消息(由N个符号组成)所提供的信息量。从数学角度出发，信源平均发一个符号所提供的信息量

12、应为我们称 为平均符号熵，当 时，平均符号熵取极限值，称为极限熵或极限信息量，即,对于离散平稳信源，当 时，具有以下性质： 条件熵 随N的增加是非递增的； N给定时，平均符号熵 条件熵； 平均符号熵 随N增加是非递增的；,说明：条件较多的熵必小于或等于条件较少的熵，而条件熵必小于等于无条件熵；对于离散平稳信源，当考虑依赖关系为无限长时，平均符号熵和条件熵都非递增地一致趋于平稳信源的信息熵（极限熵）。可用条件熵或平均符号熵来作为平稳信源极限熵的近似值。,2.2.4马尔科夫信源,马尔科夫信源的概念 m阶马尔科夫信源的数学模型 m阶马尔科夫信源的极限熵等于m阶条件熵。 m阶马尔科夫信源与消息长度为m

13、的有记忆信源的区别,2.2.5 信源冗余度及信息变差,由数据处理定理及离散熵的性质有表明信源的记忆长度越长,熵就越小；即信源符号的相关性越强，所提供的平均信息量就越小。 定义：信源熵的相对率为信源实际的信息熵与同样符号数的最大熵的比值；信源的冗余度为1减去信源熵的相对率，冗余度也称为多余度，剩余度或富余度。,信息变差冗余度的公式表明：信源的符号数一定，符号间的记忆长度越长，极限熵就越小，差值 就越大。称为 信息变差。 * 总结：通信的效率和可靠性问题往往是一对矛盾，信源编码就是通过减少或消除冗余度来提高通信的效率；而信道编码是通过增加冗余度来提高通信的抗干扰能力。,2.3 连续信源,定义：输出

14、消息在时间和取值上都连续的信源。如语音，电视信源。对应的数学工具为随机过程。 从统计特性上讲，连续随机过程大致可分为平稳（统计特性-各维概率密度函数不随时间平移而变化的随机过程）和非平稳随机过程两大类。 一般认为，通信系统中的信号都是平稳的随机过程，或分段平稳的随机过程。 最常见的平稳随机过程为遍历过程。,2.3.1连续信源的熵（只讨论单变量连续信源的信息测度）,连续信源的熵为，也称为相对熵，连续信源的绝对熵还有一项正的无限大量。两个连续变量的联合熵和条件熵分别为：,2.3.2 几种特殊连续信源的熵,均匀分布的连续信源的熵，仅与区域的边界有关。,高斯分布的连续信源的熵：与数学期望无关，仅与方差

15、有关指数分布的连续信源的熵：只取决于均值,2.3.3连续熵的性质及最大连续熵定理,连续熵的性质 连续熵可为负值（连续熵的相对性所致） 可加性 平均互信息的非负性，对称性 连续信源也满足数据处理定理,最大连续熵定理,限峰值功率的最大熵定理若信源的N维随机变量的取值在一定的范围之内，则在有限的定义域内，均匀分布的连续信源具有最大熵。 若随机变量的取值限制在 之间，峰值为 ，则最大熵值为：,限平均功率的最大熵定理若信源输出信号的平均功率P和均值m被限定，则其输出信号幅度的概率密度函数为高斯分布时，信源具有最大熵值。 均值受限条件下的最大连续熵定理若连续信源X输出非负信号的均值受限，则其输出信号幅度呈指数分布时，连续信源X具有最大熵值。 * 总结：连续信源与离散信源不同，它不存在绝对的最大熵。其最大熵与信源的限制条件有关。,