信息论第2章 信源及信源熵12解析

《信息论第2章 信源及信源熵12解析》由会员分享，可在线阅读，更多相关《信息论第2章 信源及信源熵12解析（144页珍藏版）》请在金锄头文库上搜索。

1、第二章 信源及信源熵 信源及信源熵 l2.1 信源的数学模型和分类 l2.2 离散信源熵和互信息 l2.3 离散序列信源的熵 l2.4 冗余度 l2.5 连续信源和波形信源 2.1 信源的数学模型和分类 信息论对信源研究的内容： l信源的建模：用恰当的随机过程来描述信号 l关心角度：信号中携带的信息 l信源输出信号中携带信息的效率的计算 l熵率、冗余度 l信源输出信息的有效表示 l信源编码 l信息论不研究信源的内部结构，不研 究信源为什么产生和怎样产生各种不 同的、可能的消息，而只研究信源的 各种可能的输出，以及输出各种可能 消息的不确定性。 信源特性与分类 l信源的统计特性 l1）什么是信源

2、？ l信源是信息的来源，是产生消息（符号）、消息序列（符号 序列）以及连续消息的来源。 l实际通信中常见的信源有：语音、文字、图像、数据。 l2）信源的主要特性 l信源的最基本的特性是具有统计不确定性，即信源发出的消 息是不确定的、随机的，因此可以用随机变量、随机矢量或 随机过程来描述信源输出的消息。 l一般使用一个样本空间及其概率测度概率空间（信源空 间）来描述信源，此概率空间也称为信源的数学模型。 一、离散信源和连续信源 l离散信源 l信源发出的消息在时间上和幅度上是离散分布的。 l信源是由有限或无限个取值离散的符号。 l例如：投硬币、书信文字、计算机的代码、电报符 号、阿拉伯数字码等等。

3、 l连续信源 l信源发出的消息在时间上和幅度上是连续分布的。 l信源符号集A的取值是连续的，或者取值为实数集 （，）。 l例如：语音信号、热噪声信号、图像等等。 二、离散信源的数学模型 （一）单消息（符号）信源 l信源可能输出的符号集的取值是有限的或可数 的，而且每次只输出其中一个符号代表一个消 息。 l它是最简单、最基本的信源，是组成实际信源 的基本单元。 单符号离散信源的数学模型 l我们可用一维离散型随机变量X来描述单符号离散信源输出 的消息。这个随机变量X的样本空间就是符号集A=a1 a2 aN；而X的概率分布就是各消息出现的先验概率，信源的概 率空间必定是一个完备集（即P1）。 l该信

4、源的数学模型就是离散型的概率空间，我们可以用信源 取值随机变量的范围X和对应概率分布P(x)共同组成的二元 序对X, P(x)来表示。 l当信源给定，其相应的概率空间就已给定；反之，如果概率 空间给定，这就表示相应的信源已给定。所以，概率空间能 表征这离散信源的统计特性，因此有时也把这个概率空间称 为信源空间。 信源空间： 显然有： X P（x） a1 a2 aN P(a1) P(a2) P(aN) 例：对于二进制数据、数字信源：X=0,1， 若这两个符号是等概率出现的，则有： X P（x） a1 = 0 a2 = 1 P(a1) =0.5 P(a2) = 0.5 （二）多符号离散信源 l是发

5、出符号序列的信源 l信源每次发出一组含两个以上信源符号的符号序列 代表一个消息。 l又叫作离散信源的N次扩展。 l信道的输入端与输出端对应，都是一个由同样个数 的符号所组成的符号序列代表的消息。 平稳信源 l很多实际信源输出的消息往往是由一系列符号序列所组成的。可以把 这种信源输出的消息看做时间上或空间上离散的一系列随机变量，即 为随机矢量。这时，信源的输出可用N维随机矢量X=(X，XXN) 来描述，其中N可为有限正整数或可数的无限值。这N维随机矢量X 有时也称为随机序列。 l一般来说，信源输出的随机序列的统计特性比较复杂，分析起来也比 较困难。为了便于分析，我们假设信源输出的是平稳的随机序列

6、，也 就是序列的统计性质与时间的推移无关。很多实际信源也满足这个假 设。 l若在信源输出的随机序列X= (，)中，每个随机变 量Xi (i=1,2,，N)都是取值离散的离散型随机变量，即每个随机变量 Xi的可能取值是有限的或可数的；而且随机矢量X的各维概率分布都 与时间起点无关，也就是在任意两个不同时刻随机矢量X的各维概率 分布都相同。这样的信源称为离散平稳信源。如中文自然语言文字， 离散化平面灰度图像都是这种离散型平稳信源。 离散无记忆信源 l在某些简单的离散平稳信源情况下，信源先后发出的 一个个符号彼此是统计独立的。也就是说发出的信源 发出的符号是相互独立的，发出符号序列中各个符号 之间也

7、是相互独立的。 l我们称由信源空间X，P(x)描述的信源X为离散无 记忆信源。这类信源在不同时刻发出的符号之间是无 依赖的，彼此统计独立的，各个符号的出现概率是其 自身的先验概率。 l信源输出的随机矢量X=(XXX）中，各随机变 量Xi (i=1,2,N)之间是无依赖的、统计独立的，则N 维随机矢量的联合概率分布满足： 离散无记忆信源X的N次扩展信源 l我们把这信源X所输出的随机矢量X所描述的信 源称为离散无记忆信源X的N次扩展信源。可见 ，N次扩展信源是由离散无记忆信源输出N长的 随机序列构成的信源。 l离散无记忆信源的N次扩展信源的数学模型是X 信源空间的N重空间。 有记忆信源 l 一般情

8、况下，信源在不同时刻发出的符号之间是相互 依赖的。也就是信源输出的平稳随机序列X中，各随 机变量xi之间是有依赖的。例如，在汉字组成的中文 序列中，只有根据中文的语法、习惯用语、修辞制约 和表达实际意义的制约所构成的中文序列才是有意义 的中文句子或文章。所以，在汉字序列中前后文字的 出现是有依赖的，不能认为是彼此不相关的。其他如 英文，德文等自然语言都是如此。这种信源称为有记 忆信源。 l我们需在N维随机矢量的联合概率分布中，引入条件 概率分布来说明它们之间的关联。 马尔可夫信源 l表述有记忆信源要比表述无记忆信源困难得多 。实际上信源发出的符号往往只与前若干个符 号的依赖关系强，而与更前面的

9、符号依赖关系 弱。为此，可以限制随机序列的记忆长度。 l当记忆长度为m+1时，称这种有记忆信源为m 阶马尔可夫信源。也就是信源每次发出的符号 只与前m个符号有关，与更前面的符号无关。 离散信源的分类： 分类依据：前后符号之间的关系 马尔可夫信源 平稳序列信源 离散有记忆信源 平稳无记忆信源 一般无记忆信源 离散无记忆信源 离散序列信源 2.2 离散信源的信息熵 信源空间： X P（x） a1 a2 aN p1 p2 pN 一、离散消息的自信息量 （一）自信息量 / 非平均自信息量 离散信源符号集合A中的某一个符号ai作为一 条消息发出时对外提供的信息量：I l自信息量的单位 l单位之间的关系：

10、 1nit = 1.443bit；1 hart = 3.322bit。 底数a的值单位名称 a = 2bit (binary unit)比特 a = enit (nature unit)奈特 a = 10Hart (Hartly)哈特 【例2.1】 设信源只有两个符号“0”和“1”，且它们以消息 的形式向外发送时均以等概率出现，求它们各 自的自信息量。 （二）不确定度d(ai)与自信息量I(ai) l两者的联系 l数值上相等，单位也相等，但含义不同。 l两者的区别 l具有某种概率分布的随机事件，不管其发生与否， 都存在不确定度，不确定度是任何随机事件本身所 具有的属性。 l自信息量是用来消除不

11、确定度的，消息只有被接收 之后才有信息量，否则只有不确定度。 二、离散信息熵离散消息集 合的平均不确定度 （一）信息熵 l自信息量的数学期望值是信源的平均自信息量 。（注：数学期望就是随机变量的统计平均值） l信息熵H(X) = E I(X) = P(xi ) I(xi ) = P(xi ) log P (xi) = P(xi ) log 1/P (xi) l单位为：比特/符号（单符号信源）、比特/符 号序列（多符号信源） 。 l信源熵H(X) 是从平均意义上来表征信源的总 体特征，可以表示信源的平均不确定度。 l对于特定的信源（即概率空间给定），其信源 熵是一个确定的数值，不同的信源因统计特

12、性 不同，其熵也不同。 例 通过例子了解信息熵的含义： 一个布袋内放100个球，其中80个为红球，20个为白球， 任摸取一个，猜测是什么颜色。 如果摸出红球，那么这一事件的自信息量为： I (x1) = log P (x1) = log 0.8 bit 如果摸出白球，那么这一事件的自信息量为： I (x2) = log P (x2) = log 0.2 bit X P x1 x2 0.8 0.2 l如果每次摸出一个球又放回去，再进行第二次摸 取，那么如此摸取n次，红球出现的次数为nP(x1) 次，白球出现的次数为nP(x2) 次，则摸n次后总共 提供的信息量为： nP(x1)I(x1) + n

13、P(x2)I(x2) l平均每摸取一次所获得的信息量为： H(X) = nP(x1)I(x1) + nP(x2)I(x2) n = P(x1) log P(x1) + P(x2) log P(x2) = P(xi) log P(xi) 三种物理含义 l信息熵具有三种物理含义： l信源熵H(X) 表示信源输出前，信源的平均不确定 度。 l信源熵H(X) 表示信源输出后，平均每个消息或符 号所能提供的信息量。 l信源熵H(X)可用来表示变量X的随机性。 注意： l在有噪声的情况下，信源熵并不等于平均获得 的信息量；只有在无噪声的情况下，接收者才 能正确无误地接收到信源发出的全部消息。 l信源熵是表

14、征信源平均不确定度的，是信源的 总体特性，是客观存在的，平均自信息量是消 除信源不确定度时信宿所需的信息量，两者数 值相同，单位相同，但含义不同。 例题1 设离散信源含有26个英文字母，且每个字母以等 概率出现。求信源熵。 例题2 设信源X只有两个符号x1和x2 ，出现的概率分别 为P(x1)=q，P(x2)=(1q) ，求信源熵。 课本23页 【例2.1】检查8个串联灯泡中哪一只是坏灯泡 第一次测量获得的信息量是： IP1(x)-IP2(x) 第二次测量获得的信息量是： IP2(x)-IP3(x) 第三次测量获得的信息量是： IP3(x)-0 课本29页（续例题2.1） 【例2.3】进一步分

15、析例题2.1，将8个灯泡构成 一信源X，每个灯泡损坏的概率都相等，计算 该信源的信息熵。 课本29页（续例题2.1） 分析： 此时H（X）正好表示在获知哪个灯泡已损坏 的情况前，关于哪个灯泡已损坏的平均不确定 性。 只有获得3比特的信息量，才能完全消除平均 不确定性，才能确定是哪个灯泡坏了。 分析 这种测量方法每次只能获得1比特 的信息量，所以说至少要测量3次才能 完全消除不确定性 课本29页 【例2.4】设某甲地的天气预报为：晴（4/8）、 阴（2/8）、大雨（1/8）和小雨（1/8）。又设 某乙地的天气预报为晴（7/8）、小雨占（1/8 ）。试求两地天气预报各自提供的平均信息量 。若甲地天

16、气预报为两极端情况，一种是晴出 现概率为1而其余为0。另一种是晴、阴、小雨 和大雨出现的概率都相等，为1/4。试求这两 种极端情况所提供的平均信息量。又试求乙地 出现这两种极端情况所提供的平均信息量。 熵的性质 1、非负性 2、对称性 3、确定性 4、可加性 5、极值性 6、H(X/Y) H(X)； H(Y/X) H(Y) 7、H(XY) H(X) + H(Y) 续 1、非负性 l离散信源熵的值不会小于0，即 H(X) 0。 l只有当随机变量是一个确知量（P(xi) = 1）时等号才成立。 2、对称性 l当变量P的顺序任意互换后， H(X)的值不变，即H(P1 , P2 , P3 . Pn ) = H(P2 , P3 , P4 . Pn , P1 ) l该性质表明：信源熵只与随机变量的总体结构有关，即与信 源的总体统计特性有关。