信息论与编码第3讲

《信息论与编码第3讲》由会员分享，可在线阅读，更多相关《信息论与编码第3讲（59页珍藏版）》请在金锄头文库上搜索。

1、信信 息息 论论 与与 编编 码码（第 三 讲）（第 三 讲）2010-3-11The Department of Communication Engineering, NCUT2第一篇 信息论第一篇 信息论 第第1章 概论 第章 概论 第2章 信源及其信息量 第章 信源及其信息量 第3章 信道及其容量 第章 信道及其容量 第4章 信息率失真函数章 信息率失真函数 第二篇 编码理论第二篇 编码理论 第第5章 信源编码 第章 信源编码 第6章 信道编码的基本概念 第章 信道编码的基本概念 第7章 线性分组码 第章 线性分组码 第8章 循环码 第章 循环码 第9章 卷积码章 卷积码目 录目 录20

2、10-3-11The Department of Communication Engineering, NCUT3第二章第二章第二章第二章 信源及其信息量信源及其信息量信源及其信息量信源及其信息量本章重点本章重点：信源的统计特性和数学模型、各类信源的信息测度：信源的统计特性和数学模型、各类信源的信息测度熵及其性质。熵及其性质。2.1 单符号离散信源单符号离散信源2.2 扩展信源扩展信源2.3 连续信源连续信源2.4 离散无失真信源编码定理离散无失真信源编码定理2.5 小结小结2010-3-11The Department of Communication Engineering, NCUT42

3、.1 2.1 单符号离散信源单符号离散信源单符号离散信源单符号离散信源2.1.1 单符号离散信源的数学模型单符号离散信源的数学模型2.1.2 信息量和信息熵信息量和信息熵2.1.3 熵的基本性质和定理熵的基本性质和定理2.1.4 平均互信息量平均互信息量2.1.5 各种熵之间的关系各种熵之间的关系2010-3-11The Department of Communication Engineering, NCUT52.1.4 2.1.4 平均互信息量平均互信息量平均互信息量平均互信息量?将信道的发送和接收端分别看成是两个将信道的发送和接收端分别看成是两个“信源信源”，则两者之间的统计依赖关系（信

4、道输入和输出之间）描述了信道的特性。，则两者之间的统计依赖关系（信道输入和输出之间）描述了信道的特性。(1) 互信息量和条件互信息量互信息量和条件互信息量(2) 平均互信息量的定义平均互信息量的定义(3) 平均互信息量的物理含义平均互信息量的物理含义(4) 平均互信息量的性质平均互信息量的性质2.1 单 符 号 离 散 信 源2010-3-11The Department of Communication Engineering, NCUT62.1.4 2.1.4 平均互信息量平均互信息量平均互信息量平均互信息量(1) 互信息量和条件互信息量互信息量和条件互信息量 互信息量互信息量 互信息的性

5、质互信息的性质 条件互信息量条件互信息量2.1 单 符 号 离 散 信 源2010-3-11The Department of Communication Engineering, NCUT72.1.4 2.1.4 平均互信息量平均互信息量平均互信息量平均互信息量(1) 互信息量和条件互信息量互信息量和条件互信息量 互信息量 互信息量?互信息量定义：互信息量定义：?最简单的通信系统模型：最简单的通信系统模型：?X信源发出的离散消息集合信源发出的离散消息集合Y信宿收到的离散消息集合信宿收到的离散消息集合?信源通过有干扰的信道发出消息传递给信宿；信源通过有干扰的信道发出消息传递给信宿；?信宿事先不

6、知道某一时刻发出的是哪一个消息，所以每个消息是随机事件的一个结果。信宿事先不知道某一时刻发出的是哪一个消息，所以每个消息是随机事件的一个结果。有扰信道信源X信宿Y干扰源图2.1.3 简单通信系统模型2.1 单 符 号 离 散 信 源2010-3-11The Department of Communication Engineering, NCUT82.1.4 2.1.4 平均互信息量平均互信息量平均互信息量平均互信息量(1) 互信息量和条件互信息量互信息量和条件互信息量 互信息量 互信息量?互信息量定义：互信息量定义：?信源信源 X、信宿、信宿 Y 的数学模型为：的数学模型为： = = = =

7、 = niiininixpxpxpxpxpxpxxxxXPX121211)(, 1)(0)(,),(,),(),(,)(， = = = = = mjjjmjmjypypypypypypyyyyYPY121211)(, 1)(0)(),(),(),(,)(，2.1 单 符 号 离 散 信 源2010-3-11The Department of Communication Engineering, NCUT92.1.4 2.1.4 平均互信息量平均互信息量平均互信息量平均互信息量(1) 互信息量和条件互信息量互信息量和条件互信息量 互信息量 互信息量?互信息量定义：互信息量定义：?先验概率：先验概

8、率：信源发出消息信源发出消息 xi 的概率的概率 p(xi)。?后验概率：后验概率：信宿收到信宿收到 yj后推测信源发出后推测信源发出 xi 的概率：的概率：p(xi/ yj)。2.1 单 符 号 离 散 信 源2010-3-11The Department of Communication Engineering, NCUT102.1.4 2.1.4 平均互信息量平均互信息量平均互信息量平均互信息量(1) 互信息量和条件互信息量互信息量和条件互信息量 互信息量 互信息量?互信息量定义：互信息量定义：?互信息量：互信息量： yj对对 xi 的互信息量定义为后验概率与先验概率比值的对数。的互信息

9、量定义为后验概率与先验概率比值的对数。)/()()/(1log)(1log), 2 , 1;, 2 , 1()()/(log);(222jiijiiiii jiyxIxIyxpxpmjnixpyxpyxI=)/()()(ijijixyIxIyxI+ += =2.1 单 符 号 离 散 信 源2010-3-11The Department of Communication Engineering, NCUT112.1.4 2.1.4 平均互信息量平均互信息量平均互信息量平均互信息量(1) 互信息量和条件互信息量互信息量和条件互信息量 互信息量 互信息量?举例举例?某地二月份天气构成的信源为：某地

10、二月份天气构成的信源为：?收到消息收到消息 y1：“今天不是晴天今天不是晴天”?收到收到 y1 后后：p(x1/y1)=0， p(x2/y1)=1/2，p(x3/y1)=1/4，p(x4/y1)=1/4= = 81 81 41 214321)()()()()(，雪，雨，阴，晴 ，雪，雨，阴，晴xxxxXPX2.1 单 符 号 离 散 信 源2010-3-11The Department of Communication Engineering, NCUT122.1.4 2.1.4 平均互信息量平均互信息量平均互信息量平均互信息量(1) 互信息量和条件互信息量互信息量和条件互信息量 互信息量 互

11、信息量?举例举例?计算计算 y1 与各种天气之间的互信息量与各种天气之间的互信息量?对天气对天气 x1，不必再考虑，不必再考虑?对天气对天气 x2，?对天气对天气 x3,?对天气对天气 x4 ，)( 18/14/1log)()/(log);(2 313 213比特=比特=xpyxpyxI)( 14/12/1log)()/(log);(2 212 212比特=比特=xpyxpyxI)( 18/14/1log)()/(log);(2 414 214比特=比特=xpyxpyxI2.1 单 符 号 离 散 信 源2010-3-11The Department of Communication Engi

12、neering, NCUT132.1.4 2.1.4 平均互信息量平均互信息量平均互信息量平均互信息量(1) 互信息量和条件互信息量互信息量和条件互信息量 互信息量 互信息量?举例举例?结果表明从结果表明从 y1 分别得到了分别得到了 x2，x3，x4 各各 1 比特的信息量；比特的信息量；?或者说或者说 y1使使 x2，x3，x4 的不确定度各减少量的不确定度各减少量 1 比特。比特。2.1 单 符 号 离 散 信 源2010-3-11The Department of Communication Engineering, NCUT142.1.4 2.1.4 平均互信息量平均互信息量平均互信

13、息量平均互信息量(1) 互信息量和条件互信息量互信息量和条件互信息量 互信息量 互信息量?互信息量的三种不同表达式互信息量的三种不同表达式?观察者站在输出端观察者站在输出端自信息量：自信息量：对对 yj一无所知的情况下一无所知的情况下 xi 存在的不确定度；存在的不确定度；条件自信息量：条件自信息量：已知已知 yj的条件下的条件下 xi仍然存在的不确定度；仍然存在的不确定度；互信息量：互信息量：两个不确定度之差是不确定度被消除的部分，即等于自信息量减去条件自信息量。两个不确定度之差是不确定度被消除的部分，即等于自信息量减去条件自信息量。)/()()/(1log)(1log);(22jii ji

14、ijiyxIxIyxpxpyxI=2.1 单 符 号 离 散 信 源2010-3-11The Department of Communication Engineering, NCUT152.1.4 2.1.4 平均互信息量平均互信息量平均互信息量平均互信息量(1) 互信息量和条件互信息量互信息量和条件互信息量 互信息量 互信息量?互信息量的三种不同表达式互信息量的三种不同表达式?观察者站在输入端观察者站在输入端观察者得知输入端发出观察者得知输入端发出 xi 前、后对输出端出现前、后对输出端出现 yj的不确定度的差。的不确定度的差。)/()()/(1log)(1log);(22ijj ijji

15、jxyIyIxypypxyI=2.1 单 符 号 离 散 信 源2010-3-11The Department of Communication Engineering, NCUT162.1.4 2.1.4 平均互信息量平均互信息量平均互信息量平均互信息量(1) 互信息量和条件互信息量互信息量和条件互信息量 互信息量 互信息量?互信息量的三种不同表达式互信息量的三种不同表达式?观察者站在通信系统总体立场上观察者站在通信系统总体立场上通信前：通信前：输入随机变量输入随机变量 X 和输出随机变量和输出随机变量 Y 之间没有任何关联关系，即之间没有任何关联关系，即 X，Y 统计独立；统计独立；p(xiyj)=p(xi) p(yj)先验不确定度：先验不确定度：)()(1log)(2jijiypxpyxI= =2.1 单 符 号 离 散 信 源2010-3-11The Department of Communication Engineering, NCUT172.1.4 2.1.4 平均互信息量平均互信息量平均互信息量平均互信息量(1) 互信息量和条件互信息量互信息量和条件互信息量 互信息量 互信息量?互信息量的三种不同表达式互信息量的三种不同表达式?观察者站在通信系统总体立场上观察者站在通信系统