数据通信第二章

《数据通信第二章》由会员分享，可在线阅读，更多相关《数据通信第二章（62页珍藏版）》请在金锄头文库上搜索。

1、第二章 离散信源及其信息测度 第一节 信源的数学模型及分类 第二节 离散信源的信息熵 第三节 信息熵的基本性质 第四节 离散无记忆的扩展信源 第五节 离散平稳信源 第六节 马尔可夫信源 第七节 信源剩余度与自然语言的熵 n 信源的主要问题 1如何描述信源（信源的数学建模问题） 2怎样计算信源所含的信息量 3怎样有效的表示信源输出的消息，也就是信源编码问题 第一节 信源的数学模型及分类 在通信系统中，收信者在未收到信息以前， 对信源发出什么样的消息是不确定的，是随机的 ，所以可以用随机变量、随机矢量或随机过程来 描述信源输出的消息，或者说用一个样本空间及 其概率测度来描述信源。 不同的信源根据其

2、输出消息的不同的随机性 质进行分类。 信源的定义及分类 n 离散信源 n 连续信源 信源是发出消息的源，信源输出以符号形式出现的信源是发出消息的源，信源输出以符号形式出现的具具 体消息。体消息。 按照信源发出的消息在时间上和幅度上按照信源发出的消息在时间上和幅度上的分布情况：的分布情况： n是指发出在时间和幅度上都是离散分布的离 散消息的信源，如文字、数字、数据等符号都 是离散消息。 是指发出在时间和幅度上都是连续分布的连 续消息（模拟消息）的信源，如语言、图像 、图形等都是连续消息。 时间（空间时间（空间) )取值取值信源种类信源种类举例举例数学描述数学描述 离散离散 离散信源 （数字信源

3、） 文字、数据、 离散化图象 离散随机变量序列 离散连续连续信号 跳远比赛的结果、 语音信号抽样以后 连续随机变量序列 连续连续 波形信源 （模拟信源 ） 语音、音乐、热噪 声、图形、图象 随机过程 连续离散不常见 第一节 信源的数学模型及分类 1、离散信源 数学模型如下： 集合X中，包含该信源包含的所有可能输出 的消息，集合P中包含对应消息的概率密度，各 个消息的输出概率总和应该为1。 例：掷骰子；抛硬币；天气预报 第一节 信源的数学模型及分类 2、连续信源 数学模型如下： 每次只输出一个消息，但消息的可能数目是无穷 多个。 例：电压、温度等。 离散信源的进一步分类 uu发出单个符号的信源发

4、出单个符号的信源 uu发出符号序列的信源发出符号序列的信源 指信源每次只发出 一个符号 代表一 个消息 指信源每次发出一 组含二个以上符号 的符号序列代表一 个消息 n根据随机变量间是否统计独立将信源分为有记忆信源和无 记忆信源。 n离散无记忆信源 n离散有记忆信源 所发出的各个符号是相互独立 的，发出的符号序列中的各个 符号之间没有统计关联性，各 个符号的出现概率是它自身的 先验概率。 所发出的各个符号 的概率是有关联的 。 有记忆信源符号间的概率关联性可用两种方式： n一种是用信源发出的一个符号序列的整体概率（即联合概率 ）反映有记忆信源的特征 n一种限制记忆长度，即某一个符号出现的概率只

5、与前面一个 或有限个符号有关，而不依赖更前面的那些符号，这样的信 源可以用信源发出符号序列内各个符号之间的条件概率来反 映记忆特征，这就是发出符号序列的马尔可夫信源 n根据各维随机变量的概率分布是否随时间的推移而变化将 信源分为平稳信源和非平稳信源 一个实际信源的统计特性往往是相当复杂 的，要想找到精确的数学模型很困难。实际应 用时常常用一些可以处理的数学模型来近似。 随机序列，特别是离散平稳随机序列是我们研 究的主要内容。 第二节 离散信源的信息熵 1、自信息 我们认为，一个字符它所携带的信息量是和该字符 出现的概率有关，概率可以表征自信息量的大小 根据客观事实和人们的习惯概念，应满足以下条

6、件: 第二节 离散信源的信息熵 （2）当 时 （3）当 时 （4）两个独立事件的联合信息量应等于它们分别的信息量 之和。 (1) 应是先验概率的单调递减函数，即当 时 第二节 离散信源的信息熵 根据上述条件可以从数学上证明这种函数形式是 对数函数，即： 有两个含义： 1、当事件发生前，表示该事件发生的不确定性； 2、当事件发生后，表示该事件所提供的信息量 自信息量的单位取决于对数所取的底，若以2 为底，单位为比特，以e为底，单位为奈特，以 10为底，单位为哈特,通常取比特为单位 第二节 离散信源的信息熵 例：设天气预报有两种消息，晴天和雨天，出现的概率 分别为1/4和3/4，我们分别用 来表示

7、晴天，以 来表 示雨天，则我们的信源模型如下： 第二节 离散信源的信息熵 我们定义自信息的数学期望为信源的平均信息量 信息熵具有以下两种物理含义： 1、表示信源输出前信源的平均不确定性 2、表示信源输出后，每个符号所携带的平均信息量 2、信息熵 例：天气预报，有两个信源 则： 说明第二个信源的平均不确定性更大一些 第二节 离散信源的信息熵 第三节 信息熵的基本性质 熵函数可以表示为： 第三节 信息熵的基本性质 性质1：非负性 H(X)0 由于0pi1,所以logpi0，则总有H(X)0。 性质2：对称性 n根据加法交换律可以证明，当变量交换顺序时熵函数 的值不变。 n信源的熵只与概率空间的总体

8、结构有关，而与个概率 分量对应的状态顺序无关； 第三节 信息熵的基本性质 性质3：确定性； 当信源X的信源空间X，P中。任一个概率分量等于1， 根据完备空间特性，其它概率分量必为0，这时信源为 一个确知信源，其熵为0。 如果一个信源的输出符号几乎必然为某一状态，那么这 个信源没有不确定性，信源输出符号后不提供任何信息 量。 第三节 信息熵的基本性质 性质4：扩展性 这说明信源空间中增加某些概率很小的符号，虽 然当发出这些符号时，提供很大的信息量，但由于其 概率接近于0，在信源熵中占极小的比重，使信源熵 保持不变。 第三节 信息熵的基本性质 性质5 ：极值性 上式表明，对于具有q个符号的离散信源

9、，只有在 q个信源符号等可能出现的情况下，信源熵才能达到 最大值，这也表明等概分布的信源的平均不确定性最 大，这是一个很重要得结论，称为最大离散熵定理 例：对于一个二元信源 H(X)=H(1/2,1/2)=log2=1bit/信源符号 第四节 离散无记忆的扩展信源 实际信源输出的消息往往是时间上或空间上的一 系列符号，如电报系统，序列中前后符号间一般是有 统计依赖关系的。 我们先讨论离散无记忆信源，此时，信源序列的 前后符号之间是统计独立的 如在二元系统中，我们可以把两个二元数字看成 一组，会出现四种可能情况：00、01、10和11，我们 可以把这四种情况看成一个新的信源称为二元无记忆 信源的

10、二次扩展信源，相应的，如果把N个二元数字看 成一组，则新的信源称为二元无记忆信源的N此扩展信 源。 第四节 离散无记忆的扩展信源 一般情况 设一个离散无记忆信源为： 则该信源的N次扩展信源为： 第四节 离散无记忆的扩展信源 其中： 根据信息熵的定义： 可以证明，对于离散无记忆的扩展信源 例: 离散无记忆信源的N次扩展信源 离散无记忆信源为：X:a1,a2,a3; P(X):1/4, 1/2, 1/4 2次扩展信源为：:A1A9 信源的9个符号为： A1=a1a1A2=a1a2A3=a1a3 A4=a2a1A5=a2a2A6=a2a3 A7=a3a1A8=a3a2A9=a3a3 第四节 离散无记

11、忆的扩展信源 第四节 离散无记忆的扩展信源 其概率关系为 : A1A2A3A4A5A6A7A8A9 1/16 1/81/16 1/81/41/81/16 1/81/16 计算可知 第五节 离散平稳信源 一般来说，信源的前后消息之间有前后依赖关系， 可以用随机矢量描述： 信源在某一时刻发出什么样的值取决于两方面 1、这一时刻该变量的概率分布 2、这一时刻以前发出的消息 如一个人讲话 我们现在讨论平稳的随机序列，所谓平稳是指 序列的统计性质与时间的推移无关（两个任意时 刻信源发出相同符号的概率分布完全相同）。 1、离散平稳信源的数学定义 第五节 离散平稳信源 2、二维平稳信源及其信息熵 最简单的平

12、稳信源二维平稳信源，信源发出序 列中只有前后两个符号间有依赖关系，我们可以对其二 维扩展信源进行分析。 信源的概率空间: 连续两个信源符号出现的联合概率分布为： 第五节 离散平稳信源 已知符号 出现后，紧跟着 出现的条件概率为： 由二维离散信源的发出符号序列的特点可以把其分 成每两个符号一组，每组代表新信源 中的一个 符号。并假设组与组之间是统计独立的，互不相关的。 得到一个新的离散无记忆信源 ，其联合概率空间为： 第五节 离散平稳信源 根据信息熵的定义，可得： （1）联合熵 可以表征信源输出长度为2的平均不确定性，或所含 有的信息量。因此可以用 作为二维平稳信 源的信息熵的近似值 第五节 离

13、散平稳信源 (2)条件熵 则： 第五节 离散平稳信源 另外还可以得到： 只有信源统计独立时等号成立。 可以证明： 例2-15 设某二维离散信源的原始信源的信源空间 X=x1,x2,x3; P(X)=1/4, 1/4, 1/2, 一维条件概率为： p(x1/x1)=1/2; p(x2/x1)=1/2; p(x3/x1)=0; p(x1/x2)=1/8; p(x2/x2)=3/4; p(x3/x2)=1/8; p(x1/x3)=0; p(x2/x3)=1/4; p(x3/x3)=3/4; 第五节 离散平稳信源 例2-15 原始信源的熵为： H(X)=1.5 bit/符号 条件熵： H(X2/X1)

14、=1.4 bit/符号 可见： H(X2/X1)H(X) 二维信源的熵：H(X1X2)=H(X1)+H(X2/X1)=2.9 bit/消息 每个信源符号提供的平均信息量为： H2(X1X2)=H(X1X2)/2=1.45 bit/符号。 第五节 离散平稳信源 第五节 离散平稳信源 我们现在有两种方法去近似信源的实际熵， p一种是平均符号熵H(X1X2)/2为1.45bit，但这种方 法不太准确，因为它把两个消息看成一组，认为两组 之间是统计独立的，实际上它们之间是有关联的； p另一种是我们可以用条件熵来近似，H(X2/X1)为 1.4bit，到底那一种正确呢？我们可以通过对一般离 散平稳信源的

15、分析来找到这个答案。 分析：我们用来近似信源的实际熵 第五节 离散平稳信源 3、离散平稳信源的极限熵 平均符号熵 条件熵有以下几点性质 （1）条件熵随N的增加是非递增的 （2）N给定时，平均符号熵大于等于条件熵 （3）平均符号熵随N的增加是非递增的 （4） 称 为极限熵。 第五节 离散平稳信源 可以证明，对于二维离散平稳信源，条件熵等于极 限熵，因此条件熵就是二维离散平稳信源的真实熵 对于一般信源，求出极限熵是很困难的，然而，一 般来说，取N不大时就可以得到与极限熵非常接近的条 件熵和平均符号熵，因此可以用条件熵和平均符号熵 来近似极限熵 第六节 马尔可夫信源 在很多信源的输出序列中，符号之间的依赖关系是 有限的，任何时刻信源符号发生的概率只与前边已经发 出的若干个符号有关，而与更前面的符号无关。 为了描述这类信源除了信源符号集外还要引入状态 集。这时，信源输出消息符号还与信源所处的状态有关 。 若一个信源满足下面两个条件，则称为马尔可夫信源： （1）某一时刻信源输出的符号的概率只与当前所处的 状态有关，而与以前的状态无关；