信息的度量精品PPT成才系列

《信息的度量精品PPT成才系列》由会员分享，可在线阅读，更多相关《信息的度量精品PPT成才系列（73页珍藏版）》请在金锄头文库上搜索。

1、本章内容 信息及其度量 平均信息量 熵 通过信道的平均信息量 互信息量 信息不增原理 各种信息量之间的关系 连续随机变量的信息度量参考书 沈振元等 通信系统原理 第11章 PP412 437 戴善荣 信息论与编码基础 第2章 1信息及其度量消息 信息与信号 信息蕴含于消息之中 信号是消息的外在表现形式 信息的定义 信息 事件本身所含有的不肯定性 或者说获得某事件发生时所排除的不肯定性 信息量与什么因素有关 不确定性的大小 发生的概率 主观因素 不考虑 信息的度量概率p越小 信息量越大 信息量是概率的单调递减函数 具有可加性 例将一个棋子随机地落入一个8x8的棋盘 分别用两种方法猜 看落到哪一个

2、格子里 一是直接猜 二是先猜行 后猜列 定义 自 信息量定义为I log1 p logpp是事件发生的概率 单位 以2为底 比特 bit 以e为底 奈特 Nat 以10为底 哈特莱 Hartley 关系 log2P 1 443lnPlog2P 3 322log10P思考题 信息论中的bit与计算机中的bit是否相同 两者之间有什么关系 2平均信息量 熵 最大熵 冗余度1平均信息量 熵 Entropy 信源熵 一个离散信源S由K个符号组成 withprobabilities 各符号出现的概率分别为 则其平均信息量为 称之为信源熵 H0 log32 5比特 字母 2熵的性质 1 连续性 某事件的概

3、率稍微变化时 H也只做连续的 非突变性的变化 2 对称性 Pi交换位置后 H值位置不变 3 非负性 H的值一定大于或等于零 4 确定性 当事件集中某个事件出现的概率为1 其余事件的概率为0时 H的值一定为0 5 可加性 设有一个事件的集合 E1 E2 En 各事件出现的概率分别为 P1 P2 Pn 其中某一事件En又划分为由m个小事件 概率分别为q1 q2 qm 且 qi Pn 1 则三个熵函数 H1 H P1 P2 Pn H2 H P1 P2 Pn 1 q1 q2 qm H3 H q1 Pn q2 Pn qm Pn 之间具有相加关系 H2 H1 PnH3含义 集合的进一步细分会使不确定性增加

4、 即平均信息量增加 6 极值性 3最大熵 1 离散信源在所有符号等概出现时具有最大的平均信息量 即最大熵 证明 1 预备知识 信息论不等式 2 以下再证明 例一个二进制信元X 两个符号出现的概率分别为p和1 p 其熵曲线如下图所示 2 在平均功率受限条件下连续信源的最大熵 最大微分熵 若信源输出的平均功率限定为S 则当信号的幅度的概率密度分布为高斯分布时有最大熵 参看课本p24 高斯分布 最大熵 Hmax x 1 2log2 eS 4冗余度 冗余度 最大熵 实际熵 最大熵即 思考 1 在一个二进制系统中 两个符号A B分别用0 1来表示 此时无冗余 若将其编码成000和111 问此时的冗余度是

5、多少 2 冗余度是否有用 信源编码 信道编码的作用是什么 作业 戴书 p 25 12 3信道特性 条件平均信息量与互信息量1问题 信源发出的信息量有多少能通过信道 有多少信息量受干扰而损失掉 2信道的描述 1 信道模型 发端符号集 X x1 x2 xn 收端符号集 Y y1 y2 ym 转移慨率 xi yj的概率 p yj xi 3 信道噪声的干扰特性 用转移概率矩阵来描述 3 基本概率公式 联合自信息量和条件自信息量设输入和输出都可以用离散概率空间来表示 X A P 其中A ai Y B Q 其中B bj A和B的联合空间定义为 联合自信息量 设在一正方形棋盘上共有64个方格 如果甲将一粒棋

6、子随意地放在棋盘中的某方格且让乙猜测棋子所在位置 将方格按顺序编号 令乙猜测棋子所在方格的顺序号 解 条件自信息量 设在一正方形棋盘上共有64个方格 如果甲将一粒棋子随意地放在棋盘中的某方格且让乙猜测棋子所在位置 将方格按行和列编号 甲将棋子所在方格的行 或列 编号告诉乙之后 再令乙猜测棋子所在列 或行 的位置 解 互信息量 设有两个离散的符号消息集合XY X表示信源发出的符号消息集合Y表示信宿接收的符号消息集合每个符号消息相当于一个随机事件信源发出符号消息通过信道传递给信宿X信道的输入消息 Y信道的输出消息 信源 信道 信宿 X Y 信源X的概率空间为 这里p xi i 1 2 3等 是集合

7、X中各个消息x1 x2 x3 的概率分布 它又称为先验概率 信宿Y的概率空间为 这里p yj j 1 2 3等 是集合Y中各个消息y1 y2 y3 出现的概率 收信者获得的信息量 当信宿接到集合Y中的一个消息符号后 接收者重新估计关于信源的各个消息发生的概率就变成条件概率 这种条件概率又称为后验概率 收信者收到一个消息后 所获得的信息量等于收到消息前后不确定程度的减少量 不确定程度减少的原因 是由于收到消息前后概率空间的概率分布改变所致 不确定程度的减少量 当接收到yj后 重新估计xi的发生 收信者从不确定到比较确定或完全确定 依赖于所获得的信息量 可以直观地将它定义为 I 信息量 不确定程度

8、的减少量那么 当接收者收到yj后 所获得的信息量为收信者所获得的信息量随先验概率的增加而减小 随后验概率的增加而增加 事件之间的互信息量 互信息量的性质 1 互信息量的互易性2 互信息量可为零3 互信息量可正可负4 任何两个事件之间的互信息量不可能大于其中的任一事件的自信息量 有限性 互信息量的性质 1 互易性 互信息量的互易性可表示为 此性质的意义是 事件提供的有关于事件的信息量等于由事件提供的关于事件信息量证明 互信息量的性质 2 可为零 当事件 统计独立时 互信息量为零 这表示不能从观测获得关于另一个事件Xi的任何信息 反之亦然 证明此性质的意义是 当两个事件统计独立时 其相互信息量为零

9、 这也就是说不能从观测一个事件中获得有关另一个事件的任何信息 互信息量的性质 3 可正可负 在给定观测数据的条件下 事件出现的概率称为后验概率当后验概率大于先验概率时 互信息量大于零 为正值 互信息量为正 意味着事件的出现有助于肯定事件的出现 当后验概率小于先验概率时 互信息量为负值 互信息量为负是不利的 造成不利的原因是由于信道干扰引起的 由于干扰 使估计变得更加困难 即 不确定性增加了 互信息量的性质 4 任何两个事件之间的互信息量不可能大于其中的任一事件的自信息量 某人A预先知道他的三位朋友B C D中必定将有一人晚上到他家来 并且这三人来的可能性均相同其先验概率为 p B p C p

10、D 1 3但是上午A接到D的电话不能来了把这次电话作为事件E 那么有后验概率p D E 0 p B E p C E 1 2下午A又接到C的电话 说晚上开会不能来把这次电话作为事件F 那么有后验概率p C EF p D EF 0 p B EF 1 互信息量举例 事件E 上午的电话 发生后 A获得关于B C D的互信息为 事件EF 两次电话 发生后 A获得关于B C D的互信息为 由此例可以看出 由于I B EF 1 585bit I B E 0 585bit 因此事件EF的出现有助于肯定事件B的出现 4通过离散有扰信道的平均信息量 平均互信息量 收信者收到一个消息时获得的信息量就等于收到消息前后

11、不肯定程度减少的量 不肯定程度减少的原因 收到消息前后的概率空间的概率分布发生了改变 收到前为先验概率分布收到y后 不肯定度由此时的概率空间来描述 后验概率分布为 收信者收到消息后仍存在对于信源的不肯定度 即损失的信息量 上式又称为条件熵 条件平均信息量 或损失熵 在数量上等于通过信道传输过程中所丢失的信息量 通过信道的平均信息量 平均互信息量I X Y H X H X Y 平均互信息量也可写成以下形式 平均互信息量的性质1 I X Y 0 2 对称性 I X Y I Y X 3 信息处理定理 对于如下的系统串联有I X Y I X Z 讨论 若H X Y 0 则I X Y H X 为有扰无损

12、信道 若H X Y H X 则I X Y 0 为有扰全损信道 若0 H X Y H X 则0 I X Y H X 为有扰有损信道5 信息传输速率 传信率 其中 Rb为单位时间内发出的符号数 例1一个有扰有损信道 发端符号集为 0 1 其出现概率均为1 2 设信源每秒发出的符号数为1000 由于干扰的作用 收到的每100个符号中有一个符号出错 求此信道的信息传输速率 解 1 先求信源发出的平均信息量 因为P x1 p x2 1 2代入熵公式 得H x 1bit 符号 信源的信息速率为 2 求损失熵 因p x1 p x2 1 2 p y2 x1 p y1 x2 0 01p y1 x1 p y2 x

13、2 0 99根据信道模型 知p y1 p y2 1 2由概率公式可求得 同理可求得 故损失熵为 3 求互信息量及传信率 思考题 二元对称信道的损失熵等于多少 例2一个二元系统 以等概输入到一个二元对称信道 若信道误码率为1 8 求输出的平均信息量 解 因等概输入 故信源的平均信息量为H X 1bit 符号又因为H X Y plogp 1 p log 1 p 0 55bit 符号所以 I X Y H X H X Y 0 45bit 符号即输出的平均信息量为0 45bit 符号 4信息量的基本公式及其物理含义基本公式 1 信源熵 信源发出的消息符号所含有的平均信息量 2 信宿熵 接收机输出的消息符

14、号的平均信息量 不肯定度 3 条件熵 条件平均信息量 A 损失熵 疑义度 由于噪声干扰在信道中损失的平均信息量B 噪声熵 散布度 由于噪声干扰 收端误判产生的平均错误信息量 3 互信息量 4 联合熵 表示整个系统的不肯定度2文氏图与信息流图表示文氏图 信道中的信息流图 本节要点如何表示一个离散信道的信道模型 什么是损失熵 如何计算 什么是互信息量 如何计算 信息传输速率与互信息量有何关系 解释什么是信源熵 信宿熵 损失熵 噪声熵和联合熵 试用信息流图和文氏图表示各种信息量之间的关系 并用公式表示它们之间的关系 信息不增原理问题 经过信息处理后 信息量是否会增加 1 平均条件互信息量 Z中某事件

15、Cm发生条件下 X与Y集合元素间提供的互信息量为 2 信息不增原理 信息处理定理 该定理说明 经过信息处理后 信息量不会增加 而只会减少 即处理中可能会丢失一些信息 问题 该定理的结论是否与信息处理的实际效果不一致 这里所说的信息是指输入概率空间X的初始信息量 并不包括传输过程中的噪声与干扰 而一般说的信息处理大多是用来消除接收信号中的噪声与干扰的 该定理表述的信息是Shannon信息 即概率统计意义上的信息 而人们感知的信息并未计入 现代信息处理已远超出Shannon信息论的范畴 在处理过程中加入了改善感知的许多信息 连续变量的信息度量1 连续变量的微分熵 连续变量的熵 微分熵 又称为相对熵

16、 或差熵 又可以写成 2 微分熵的性质 1 微分熵不代表不确定性 是它能用来表征两个概率空间的互信息量 因而在连续随机变量的信息研究中起重要作用 2 h X 不具有非负性 其值可正 可负 也可以为0 3 h X 值与坐标系有关 微分熵是计算互信息量的基础 3 连续随机变量的互信息量两个连续随机变量集X与Y之间的互信息量I X Y 可表示为 其中 4 连续变量的最大熵 1 峰值功率受限 幅值受限 则当p x 1 b a 时具有最大熵 即 2 平均功率受限 作业N0 1 戴书 p 25 1 通信原理p 437 习题 2 5作业N0 2 戴书 p 25 5 只做 1 2 小题 补充题 某电报系统 发送传号M和空号S的概率相等 在信道噪声的影响下 使1 6的传号M收成空号S 而半数的空号S收为传号M 问 收信者收到一个消息后获得的平均信息量是多少 本章小结离散变量的自信息量离散变量集的平均信息量 熵平均互信息量 由信源发出通过信道到达信宿的平均信息量损失熵与噪声熵各种信息量之间的关系 文氏图与信息流图连续随机变量的信息度量7信息不增原理